Künstliche Intelligenz ist aktuell allgegenwärtig. Egal ob in den Medien oder im Alltag – ChatGPT und Co. sind in aller Munde. Auch für die Schule ist der Einfluss künstlicher Intelligenz von hoher Bedeutung. Sicher hast auch du dich schon gefragt, wie du erkennen kannst, ob Texte, die deine Lernenden abgegeben haben, tatsächlich aus deren Feder stammen oder ob ChatGPT der tatsächliche Urheber des Textes ist.
Zahlreiche Tools geben aktuell in den Medien vor, Plagiate von KI zuverlässig erkennen zu können.
Aber können sie das wirklich?
Identifikation durch Tools?!
Mit dem aufkommenden Hype um ChatGPT und Co. wurde kurze Zeit später schon eine neue Welle an KI-Tools losgelöst. KI-Tools, die vorgeben, von KI verfasste Texte als solche enttarnen zu können.
Um die Illusion direkt vorwegzunehmen: Nein, sie können Plagiate nicht zuverlässig erkennen.
Derartige Tools und der Wunsch, KI-Plagiate aufdecken zu können, gewannen in diesem Jahr anlässlich des Verdachts von Text-Plagiaten in den Abiturprüfungen Hamburger Lernender an Bedeutung. Prüfende haben wegen dieses Verdachts versucht, ihre Annahmen mithilfe von KI Tools zu beweisen. Allerdings ohne Erfolg.
Selbst die Firma hinter ChatGPT namens OpenAI betont, dass es wichtig sei, aufzupassen und sich nicht auf die Zuverlässigkeit des eigenen Tools ‚AI Classifier‘ sowie anderer Tools, die vorgeben, KI-Texte aufdecken zu können, zu verlassen. Zudem sei die Zuverlässigkeit bei englischsprachigen Texten höher, wobei auch hier von keiner immensen Zuverlässigkeit gesprochen werden könne.
Our classifier is not fully reliable. In our evaluations on a “challenge set” of English texts, our classifier correctly identifies 26% of AI-written text (true positives) as “likely AI-written,” while incorrectly labeling human-written text as AI-written 9% of the time (false positives). Our classifier’s reliability typically improves as the length of the input text increases. Compared to our previously released classifier, this new classifier is significantly more reliable on text from more recent AI systems.
Quelle:
Kirchner, Jan Hendrik u.a. (2023): New AI classifier for indicating AI-written text, in: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text (zuletzt geprüft am 02.10.2023).
Diese Ungenauigkeit veranlasste OpenAI dazu, den AI Classifier wieder abzustellen. Doch andere Tools kursieren weiterhin im Netz, wobei auch diese mehr versprechen als sie halten.
Auch ChatGPT gibt an, dass es KI-Erkennungs-Tools gibt, muss auf weitere Nachfrage jedoch auch zugeben, dass eine 100%ige Zuverlässigkeit nicht wirklich gegeben ist:
(Quelle: OpenAI 2023) 
(Quelle: OpenAI 2023)
Wie ChatGPT hier schon schreibt, können solche Tools als Unterstützer fungieren, doch sein ganzes Vertrauen in die Ergebnisse zu legen, scheint nicht ratsam zu sein. Zwar wird die Trefferquote der einzelnen Tools immer besser, doch auf eine unanzweifelbare Sicherheit kommen sie nie.
Die Universität aus Kansas schreibt in ihrem eigenen News-Blog, dass Forschende einen Algorithmus entwickelt haben, der KI-Texte mit einer Wahrscheinlichkeit von 99% identifizieren kann, doch diese Neuigkeit hat einen Haken:
Bislang gelte diese Wahrscheinlichkeit nicht für jeden KI-Text, sondern ausschließlich für englischsprachige wissenschaftliche Arbeiten in Fachsprache.
…also doch als Lehrkraft auf die Suche gehen?
Obwohl die Programme durchaus einen Impuls geben können, ob deine Lernenden die tatsächlichen Urheber:innen eines Textes sind, ist dennoch eigenes Hinsehen gefragt, wenn du an der Urheberschaft des Textes eines Lernenden zweifelst.
Hier findest du eine Auswahl an Anhaltspunkten, die dir helfen können, KI-Texte zu identifizieren:
- Der Inhalt ist nüchtern, sachlich und emotionslos = höchstwahrscheinlich von einer KI verfasst.
- Innerhalb des Textes werden Informationen nicht verknüpft oder weitergedacht = höchstwahrscheinlich von einer KI verfasst.
Beispiel (in Anlehnung an Computerbild):
Bei diesem Prompt handelt es sich jedoch um eine Fangfrage:
Der Turm würde nicht zwingend 200 Meter hoch sein, da die unteren Autos dem Gewicht nicht standhalten würden und folglich kleiner als 2 Meter wären.
- Der Text verfügt über Stilveränderungen? = Hier kann womöglich eine Mischung aus Mensch und KI vorliegen.
Du möchtest überprüfen, ob du ein:e gute:r KI-Detektiv:in bist?
Klick mal hier und teste dich selbst: Quiz der Neuen Zürcher Zeitung
KI gezielt im Unterricht einsetzen
Zugegeben: Lehrkräfte hatten keine Vorlaufszeit, um sich mit der neuen Innovation vor den Lernenden vertraut zu machen. Deshalb ist hier – wie so häufig – Zusammenarbeit statt Wettrennen die Devise.
Wir zeigen dir hier eine kleine Auswahl an Angeboten, wie du KI produktiv in deinen Unterricht integrieren sowie selbst profitieren kannst:
ChatGPT – ein KI-Tool für den Unterricht!?
…und wo finde ich Material?
Zum Beispiel hier:
- Hier findest du Materialien sowie Beispiele, wie du KI wie ChatGPT innerhalb deiner Arbeitsaufträge verwenden kannst.
- ‚AI Unplugged‘ stellt Aktivitäten und Material vor, mit dem du und deine Lernenden spielerisch und handlungsorientiert das Konzept von KI erfahren können (und das ironischerweise analog)
- Mit kostenlosem Material wie diesem kannst du auf den Einfluss von KI im Alltag eingehen.
- In diesem Podcast berichten Lehrkräfte, wie sie KI in ihrem Unterricht einsetzen. Womöglich bietet dir das Inspiration.
…und welche Auswirkungen hat das auf Prüfungsformate?
Vor allem Texte und Ausarbeitungen, welche die Lernenden Zuhause vorbereiten und dabei unbemerkt mit KI arbeiten oder gar KI für sich gänzlich arbeiten lassen, erschweren die transparente und faire Benotung.
Daher müssen wir uns als Lehrkräfte fragen, wie zeitgemäße Prüfungsformate aussehen und wie wir sie umsetzen können.
Dabei ist es grundlegend ratsam, den Fokus eher auf den Prozess der Erarbeitung zu legen, anstatt dem Endprodukt/Ergebnis ausschließliche oder intensivere Gewichtung zuzuschreiben.
Wenn du dich intensiver mit zeitgemäßer Prüfungskultur auseinandersetzen möchtest und/oder wissen willst, welche zeitgemäßen Prüfungsformate rechtlich umsetzbar sind, schau dich mal auf der Website vom Institut für zeitgemäße Prüfungskultur e.V. um.
Du bist neugierig geworden und möchtest dich im Bereich ‚KI in der Schule“ weiterbilden?
Womöglich ist dann eines unserer Webinare für dich interessant!
Welche Erfahrungen hast du mit Plagiaten von KI gemacht? Hast du Tipps und Tricks, wie man diese identifizieren kann?
Teile deine Erfahrungen gern mit uns auf Instagram, Facebook, LinkedIn oder schreib uns über unser Kontaktformular
Quellen:
Emmerich, Nadine (2023): Mensch oder Maschine. Wie können Lehrkräfte KI-Texte erkennen? In: https://www.gew.de/aktuelles/detailseite/wie-koennen-lehrkraefte-ki-texte-erkennen#:~:text=KI%2DTexte%20lassen%20sich%20m%C3%B6glicherweise,eine%20KI%20als%20Urheber%20hindeuten (zuletzt geprüft am 29.09.2023).
Fulterer, Ruth (2023): Können Sie unterscheiden, ob ein Text von einem Menschen oder von Chat-GPT kommt? In: https://www.nzz.ch/technologie/koennen-sie-unterscheiden-ob-ein-text-von-mensch-oder-maschine-kommt-ld.1732306 (zuletzt geprüft am 29.09.2023).
Nolte, Barbara (2023): Schummeln mit Chatbots: „Wir erkennen KI-Texte bloß, wenn die Rechtschreibung perfekt ist“. In: https://www.tagesspiegel.de/gesellschaft/schummeln-mit-chatbots-wir-erkennen-ki-texte-bloss-wenn-die-rechtschreibung-perfekt-ist-10396339.html (zuletzt geprüft am 29.09.2023).
Stöckel, Marc (2023): Schlecht für Lehrer. KI-Detektoren funktionieren laut OpenAI nicht. In: https://www.golem.de/news/schlecht-fuer-lehrer-ki-detektoren-funktionieren-laut-openai-nicht-2309-177522.html (zuletzt geprüft am 29.09.2023).
Kolar, Sebastian (2023): Von ChatGPT erstellte Texte erkennen: Mit diesen Checks gelingt es. In: https://www.computerbild.de/artikel/cb-Tipps-Software-Texte-von-ChatGPT-erkennen-die-besten-Checks-36293181.html (zuletzt geprüft am 29.09.2023).
Grünewald, Isabel (2023): KI-Update: ChatGPT-Texte erkennen. In: https://www.heise.de/news/KI-Update-ChatGPT-Texte-erkennen-9189767.html (zuletzt geprüft am 29.09.2023).
Holzki, Larissa (2023): ChatGPT. So erkennen Sie KI-Texte. In: https://www.handelsblatt.com/technik/it-internet/chatgpt-so-erkennen-sie-ki-texte/29173354.html (zuletzt geprüft am 29.09.2023).
Kirchner, Jan Hendrik u.a. (2023): New AI classifier for indicating AI-written text, in: https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text (zuletzt geprüft am 02.10.2023).
Lynch, Brendan M. (2023): DIGITAL TOOL SPOTS ACADEMIC TEXT SPAWNED BY CHATGPT WITH 99% ACCURACY. In: https://news.ku.edu/2023/05/19/digital-tool-spots-academic-text-spawned-chatgpt-99-percent-accuracy (zuletzt geprüft am 29.09.2023).
OpenAI (2023): How can educators respond to students presenting AI-generated content as their own? In: https://help.openai.com/en/articles/8313351-how-can-educators-respond-to-students-presenting-ai-generated-content-as-their-own (zuletzt geprüft am 29.09.2023).
