Dieser Bericht, der im Sommer 2024 recherchiert wurde, untersucht den zunehmenden Einsatz von KI-Chatbots im akademischen Bereich nach der Einführung von ChatGPT im Jahr 2022 und die Reaktion von Bildungseinrichtungen durch KI-Erkennungstools. Er erörtert die unterschiedliche Effektivität dieser Tools bei der Identifizierung von KI-generierten Inhalten, mit Problemen wie falsch-positiven und falsch-negativen Ergebnissen. Der Bericht beleuchtet auch ethische Bedenken in Bezug auf Datenschutz, Genauigkeit und den Einsatz von KI im Bildungswesen. Einige Institutionen überdenken den Einsatz von Erkennungstools und entscheiden sich stattdessen für eine verantwortungsvolle Integration von KI in die Lehrpläne.
Dieser Leitfaden richtet sich in erster Linie an Universitäten und andere Hochschuleinrichtungen, die am Google.org Cybersecurity Seminars Program teilnehmen. Er richtet sich an die Faculty Champions und EDI Champions dieser Programme. Neben den Google.org Cybersecurity Seminars kann dieser Leitfaden auch für andere Organisationen relevant sein, die sich mit der praktischen Ausbildung im Bereich der Cybersicherheit beschäftigen.
Der Start von ChatGPT im Jahr 2022 weckte weltweit das Interesse an künstlicher Intelligenz (KI) und führte zu einer weit verbreiteten Nutzung von KI-Chatbots, auch durch Studenten. Nach dem Aufkommen von KI-Chatbots wurden von Hochschuleinrichtungen Bedenken hinsichtlich der "unlauteren Nutzung von durch künstliche Intelligenz generierten Inhalten in einem akademischen Umfeld "1 und der "Originalität und Angemessenheit der vom Chatbot generierten Inhalte" geäußert.2
Um die unangemessene oder unfaire Nutzung solcher Chatbots zu erkennen und zu kontrollieren, haben KI-Erkennungstools an Popularität gewonnen, wobei Standardplagiatstools wie TurnItIn dazu übergegangen sind, KI-generierte Inhalte mit unterschiedlichem Wirkungsgrad und zu verschiedenen Preisen zu erkennen.3 Die meisten KI-Erkennungstools in der Wissenschaft sind in breitere Bildungsplattformen wie Moodle, Canvas, Blackboard, Brightspace, Schoology oder Sakai integriert.4
KI-Erkennungstools identifizieren generierten Text durch Musterabgleich, anstatt ihn mit einer Datenbank zu vergleichen, wie es herkömmliche Plagiatsprüfprogramme tun. Sprachmodelle werden auf riesigen Mengen von Textdaten trainiert, um probabilistische Sprachregeln zu lernen, die sie zur Erstellung neuer Inhalte verwenden. Der generierte Text weist jedoch oft vorhersehbare Muster auf, wie z.B. einheitliche Satzstrukturen, übermäßige Verwendung bestimmter Konjunktionen und Vokabeln sowie vorhersehbare Satz- oder Absatzlängen. Tools zur Erkennung von Plagiaten zielen darauf ab, diese Muster zu erkennen und können auch herkömmliche Plagiatsprüfungen einbeziehen, um Texte zu identifizieren, die direkt aus den Trainingsdaten des Modells reproduziert wurden.5
Als die ersten KI-Erkennungstools auf den Markt kamen, beeilten sich die Hochschulen, sie in die Bildungsplattformen zu integrieren. Die meisten, wenn nicht sogar alle, KI-Erkennungstools können jedoch mit genügend Zeit und Aufwand umgangen werden.6 Einige Hochschulen machen daher ihre Entscheidung, KI-Erkennungsprogramme zu verwenden, rückgängig. Im Jahr 2023 deaktivieren Vanderbilt, Michigan State, Northwestern und die University of Texas at Austin ihre Turnitin-KI-Detektoren und begründen dies mit den oben beschriebenen Problemen bei der Effektivität.7 Andere Bildungseinrichtungen werden diesem Beispiel wahrscheinlich folgen, da die Erkennungstools möglicherweise mehr Probleme verursachen, als sie lösen.8 Einige akademische Einrichtungen deaktivieren nicht nur die KI-Erkennungstools, sondern finden auch Wege, LLMs ethisch und produktiv in ihre Lehrpläne einzubinden.9
Darüber hinaus wurden neue "Humanizer"-Tools veröffentlicht, die es LLM-Nutzern ermöglichen, KI-Erkennungstools zu umgehen, indem sie "Sätze umformulieren, Strukturen ändern und ein vielfältiges Vokabular einbauen", was die Wahrscheinlichkeit einer KI-Erkennung deutlich verringert.10 Erste Untersuchungen deuten darauf hin, dass Paraphrasierungs-Tools die KI-Erkennung erheblich erschweren.11 Die Washington Post fand beispielsweise heraus, dass Turnitin Schwierigkeiten hat, KI-generierte Inhalte zu identifizieren, wenn der Text menschliche und KI-generierte Inhalte durch Paraphrasierungs-Tools vermischt.12
Obwohl Turnitin eine neue Funktion zur Erkennung von KI-Paraphrasierung in sein KI-Erkennungstool aufgenommen hat,13 schaffen solche Reaktionen ein schwieriges Marktumfeld für KI-Erkennung, da andere Unternehmen sich auf andere Geschäftsmodelleumstellen14 oder schließen.15
Im Folgenden finden Sie eine Auswahl der wichtigsten KI-Erkennungstools in alphabetischer Reihenfolge. Wir haben auch öffentlich zugängliche Informationen über die Wirksamkeit der Erkennung, die Integration in die Bildungsplattform, den Preis (in USD) und das Veröffentlichungs- und/oder Aktualisierungsdatum angegeben. Beachten Sie, dass die meisten der unten aufgeführten KI-Erkennungstools hauptsächlich nur gegen ChatGPT-3.5 wirksam sind.
| AI-Erkennungstool | Gibt es eine Integration in Bildungsplattformen? | Preisgestaltung (USD) | Datum der Veröffentlichung/Aktualisierung |
| Compilatio | Ja: Moodle, Brightspace, Canvas, Microsoft Teams, Blackboard, Open LMS | Keine Informationen gefunden16 | Februar 2023 |
| Inhalt in großem Maßstab | Ja: begrenzte Informationen | $49/Monat17 | Keine Informationen |
| Inhaltsdetektor AI | Keine Informationen | Keine Informationen gefunden | 202318 |
| Copyleaks | Ja: Moodle, Canvas, Blackboard, Brightspace, Schoology, Sakai | $7.99-$13.99/Monat19 | Januar 2023 |
| Crossplag | Keine Informationen | $7-$100/Monat20 | Januar 2023 |
| GPT erkennen | Keine Informationen | $7-$29/Monat21 | Keine Informationen |
| Duplichecker | Keine Informationen | $110-$2000/Jahr22 | 2024 |
| Los Winston | Keine Informationen | $12-$32/Monat23 | Februar 2023 |
| GPT-Null | Ja: Canvas, Coursify.me, K16-Lösungen, NewsGuard | $10-$23/Monat24 | Januar 2023 |
| Originalität | Ja: Moodle, Scribbr | $14.95-$30/Monat25 | November 2022 |
| Plagiatsdetektor (KI-Erkennung) | Keine Informationen | $110-$330/Jahr26 | Keine Informationen |
| Quillbot | Ja: Keine öffentlich zugänglichen Details zu den Plattformen | $0-$8.33/Monat27 | Keine Informationen |
| Bäumchen | Unklar | $0-$12/Monat28 | Januar 2023 |
| Scispace | Wahrscheinlich, aber Mangel an Informationen | $0-$8/Monat29 | Keine Informationen |
| Turnitin | Ja: Brightspace, Scribbr | $3/Student/Jahr30 | April 2023 |
| Nicht nachweisbare AI | Keine Informationen | $5-$14.99/Monat31 | Mai 2023 |
| Wordtune | Wahrscheinlich, aber Mangel an Informationen | $0-$9.99/Monat32 | Januar 2023 |
| Writer's AI Detektor | Keine Informationen | $0-$18/Monat33 | Keine Informationen |
| ZeroGPT | Ja: Keine öffentlich zugänglichen Details zu den Plattformen | $0-$18.99/Monat34 | Januar 2023 |
Im Zusammenhang mit KI-Erkennungstools treten falsch positive Ergebnisse auf, wenn ein KI-Erkennungstool eingereichte Inhalte fälschlicherweise als von KI generiert identifiziert. Einige Studien deuten darauf hin, dass KI-Erkennungstools eine hohe Falsch-Positiv-Rate haben und nur wenige KI-Erkennungstools eine signifikant niedrige Falsch-Positiv-Rate aufweisen.35 In einem akademischen Umfeld kann dies bedeuten, dass studentische Arbeiten fälschlicherweise als von KI generiert gekennzeichnet werden, obwohl sie in Wirklichkeit von Menschen erstellt wurden. Es wurden auch Unterschiede festgestellt, je nachdem, welches KI-Modell verwendet wird, um den eingereichten Text für das zu testende KI-Erkennungstool zu generieren, und umgekehrt, wobei die Ergebnisse in den verschiedenen Studien variieren.36 Darüber hinaus werden Inhalte von Nicht-Muttersprachlern mit höherer Wahrscheinlichkeit fälschlicherweise als von KI generiert eingestuft, was natürlich ein Problem für Bildungseinrichtungen mit Studenten mit unterschiedlichem Hintergrund darstellt.37
Im Zusammenhang mit KI-Erkennungstools treten falsch-negative Ergebnisse auf, wenn ein KI-Erkennungstool eingereichte Inhalte nicht als von KI generiert identifiziert. Einige Tools haben eine geringe Sensitivität gezeigt und nur 15 % der eingereichten Proben korrekt als KI-generiert identifiziert,38 während andere ein nahezu perfektes Ergebnis bei der Klassifizierung von von Menschen geschriebenen Inhalten zeigen und nur 3 % der KI-generierten Proben falsch klassifizieren.39 Im Allgemeinen variieren die Ergebnisse hinsichtlich der Genauigkeit stark, je nachdem, welches KI-Erkennungstool verwendet wird. Eine Studie legt nahe, dass nur zwei der wichtigsten KI-Erkennungstools alle 126 Beispiele korrekt als von KI oder von Menschen erstellt klassifiziert haben.40 Andere Forscher behaupten, dass KI-Erkennungstools mehr falsch-negative Ergebnisse liefern, wenn sie komplexere Sprache analysieren.41
Im Allgemeinen variiert die Effektivität von KI-Erkennungstools je nachdem, welches Tool verwendet wird und gegen welches Modell. Eine Studie ergab, dass KI-Erkennungstools bei ChatGPT-3.5-Inhalten effektiver und bei ChatGPT-4-Inhalten weniger effektiv sind, mit Ausnahme von Copyleaks, Turnitin und Originality.ai, die eine Genauigkeit von mehr als 83 % bei der Erkennung von ChatGPT-4-Inhalten aufweisen.42 Diese Studie kam zu dem Schluss, dass "der kostenlose oder kostenpflichtige Status eines Detektors kein guter Indikator für seine Genauigkeit ist",43 obwohl kontrastierende Ergebnisse (mit einer kleinen Stichprobengröße) vorläufig darauf hindeuten, dass kostenpflichtige KI-Erkennungstools besser zu sein scheinen als kostenlose KI-Erkennungstools.44 Studien konzentrieren sich im Allgemeinen auch auf die Wirksamkeit von KI-Erkennungstools gegen ChatGPT und ignorieren andere LLMs. Dies könnte auf die größere Popularität der Modelle von OpenAI im Vergleich zu anderen wie Gemini, Mistral oder Command zurückzuführen sein.
Der Einsatz von KI-Chatbots im akademischen Bereich wirft erhebliche ethische Fragen auf, angefangen bei der Schädigung des Rufs sowohl der Studenten als auch der Hochschuleinrichtungen. Wenn Studenten die Verwendung von KI-generierten Inhalten nicht offenlegen und diese als ihre eigenen ausgeben, kann dies ihrer weiteren Ausbildung und ihrer zukünftigen Karriere schaden. Auch Universitäten können sich dem Vorwurf aussetzen, Plagiate zu ermöglichen, zu betrügen und die akademische Integrität nicht zu wahren.
Der Einsatz von KI-Erkennungstools ohne angemessene Sicherheitsvorkehrungen führt jedoch zu ebenso großen Bedenken hinsichtlich des Datenschutzes und der Einwilligung, insbesondere im Hinblick auf die vertraglichen Vereinbarungen zwischen den Universitäten und dem Tool-Anbieter. Dazu gehört die Frage, was mit hochgeladenen Inhalten geschieht, wie sie gespeichert werden und ob die hochgeladenen Inhalte für zukünftige Trainingsdaten verwendet werden.
Wie im vorangegangenen Abschnitt erläutert, können KI-Erkennungstools von Menschen geschriebene Inhalte fälschlicherweise als KI identifizieren (falsch positive Ergebnisse) oder von KI generierten Text nicht erkennen (falsch negative Ergebnisse). Die Erkennungsgenauigkeit ist sehr unterschiedlich, wobei einige Tools ChatGPT-3.5 besser erkennen. Schließlich spielen sie ein Katz-und-Maus-Spiel mit Methoden, um die Erkennung zu umgehen - einschließlich Software, die speziell Inhalte erzeugt, die von Standard-KI-Erkennungstools nicht erkannt werden können.45
KI-Erkennungstools tragen auch zu breiteren Debatten über Zugang, Gerechtigkeit und Umweltauswirkungen bei. Studenten können KI nutzen, um die Übersetzung und das Verständnis von Kursarbeiten zu unterstützen, vor allem wenn sie in einem englischsprachigen Land studieren und aus einem nicht englischsprachigen oder anderen Minderheiten angehörenden Umfeld stammen, das historisch gesehen weniger Chancen auf eine Universitätsausbildung hat. Zugangsprobleme ergeben sich auch aus der kommerziellen Verfügbarkeit von LLMs. Wohlhabendere Studenten können möglicherweise für anspruchsvollere Modelle bezahlen und/oder ihre Arbeit durch mehrere LLMs leiten, was bedeutet, dass die Chancen auf Entdeckung deutlich sinken.46
Das Google.org Cybersecurity Seminars Program unterstützt Cybersecurity-Seminare an ausgewählten Universitäten und anderen förderfähigen Hochschuleinrichtungen in Europa, dem Nahen Osten und Afrika, um Studenten dabei zu helfen, mehr über Cybersicherheit zu erfahren und Wege in diesem Bereich zu erkunden. Das Programm unterstützt aktiv die Ausweitung der Cybersecurity-Ausbildung an Universitäten, um die vielfältigen Arbeitskräfte aufzubauen, die benötigt werden, um den am stärksten gefährdeten Organisationen zu helfen, potenzielle Cyberangriffe zu verhindern. Es befasst sich auch mit den neuen Risiken der künstlichen Intelligenz (KI), indem es den Studenten ein Verständnis für die KI-basierten Veränderungen in der Cyber-Bedrohungslandschaft vermittelt und ihnen hilft, KI effektiv in praktische Cybersicherheitsmaßnahmen zu integrieren.
Von den teilnehmenden Universitäten wird erwartet, dass sie Gleichberechtigung, Vielfalt und Inklusion in ihren Programmen aktiv fördern. Sie sollten die starke Beteiligung von Personen mit unterschiedlichem Hintergrund fördern und ein integratives Umfeld für die Ausbildung schaffen, um so die gesamte Lernerfahrung zu bereichern und die Cybersicherheitsgemeinschaft zu stärken.
Laden…
