Návštěvou našich stránek souhlasíte s našimi zásady ochrany osobních údajů týkající se souborů cookie, statistik sledování atd.
Požádejte nyní o bezplatnou podporu z našeho Centra služeb kybernetické bezpečnosti
Požádejte o bezplatnou podporu kybernetické bezpečnosti
Zúčastněte se letního výcvikového tábora Ransomware Defence Summer Bootcamp v Amsterdamu, červen 2026
Zúčastněte se našeho bezplatného letního bootcampu o obraně proti ransomwaru
Zapište se do online živého kurzu Základy kybernetické bezpečnosti a AI
Získejte online informace o základech kybernetické bezpečnosti a AI
Tato zpráva, jejíž výzkum probíhal v létě 2024, zkoumá zvýšené využívání chatbotů s umělou inteligencí v akademickém prostředí po spuštění ChatGPT v roce 2022 a reakci vzdělávacích institucí prostřednictvím nástrojů pro detekci umělé inteligence. Pojednává o různé účinnosti těchto nástrojů při identifikaci obsahu vytvořeného AI, přičemž se zabývá otázkami, jako jsou falešně pozitivní a falešně negativní výsledky. Zpráva také upozorňuje na etické obavy týkající se soukromí, přesnosti a využití AI ve vzdělávání. Některé instituce přehodnocují používání detekčních nástrojů a místo toho se rozhodují pro zodpovědné začlenění UI do výukových programů.
Tato příručka je určena především pro univerzity a další vysokoškolské instituce, které se účastní programu seminářů kybernetické bezpečnosti Google.org. Je určena fakultním šampionům a šampionům EDI těchto programů. Kromě Seminářů kybernetické bezpečnosti Google.org může být tato příručka relevantní i pro další organizace zapojené do praktického vzdělávání v oblasti kybernetické bezpečnosti.
Spuštění ChatGPT v roce 2022 vyvolalo celosvětový zájem o umělou inteligenci (AI) a vedlo k širokému využívání chatbotů s umělou inteligencí, včetně studentů. Po nástupu chatbotů s umělou inteligencí se objevily obavy vysokoškolských institucí z "nespravedlivého používání obsahu generovaného umělou inteligencí v akademickém prostředí".1 a "originalitu a vhodnost obsahu generovaného chatbotem".2
K odhalování a zvládání nevhodného nebo nekalého používání takových chatbotů jsou stále populárnější nástroje pro detekci umělé inteligence, přičemž standardní nástroje pro odhalování plagiátů, jako je TurnItIn, se v různé míře účinnosti a za různé ceny zaměřují na odhalování obsahu generovaného umělou inteligencí.3 Většina nástrojů pro detekci umělé inteligence na akademické půdě je integrována do širších vzdělávacích platforem, jako jsou Moodle, Canvas, Blackboard, Brightspace, Schoology nebo Sakai.4
Nástroje pro detekci umělé inteligence identifikují vytvořený text pomocí porovnávání vzorů, nikoliv porovnáváním s databází, jak to dělají tradiční nástroje pro kontrolu plagiátů. Jazykové modely jsou trénovány na obrovském množství textových dat, aby se naučily pravděpodobnostní jazyková pravidla, která používají k vytváření nového obsahu. Vygenerovaný text však často vykazuje předvídatelné vzorce, jako jsou konzistentní struktury vět, nadměrné používání určitých spojek a slovní zásoby a předvídatelná délka vět nebo odstavců. Detekční nástroje se snaží tyto vzorce odhalit a mohou také zahrnovat tradiční kontroly plagiátorství, aby identifikovaly text, který mohl být reprodukován přímo z trénovacích dat modelu.5
Když se poprvé objevily nástroje pro detekci umělé inteligence, vysokoškolské instituce si pospíšily s jejich integrací do vzdělávacích platforem. Většinu, ne-li všechny nástroje pro detekci umělé inteligence, je však možné při dostatku času a úsilí obejít.6 Některé vysokoškolské instituce proto své rozhodnutí využívat detektory umělé inteligence mění. Vanderbilt, Michiganská státní univerzita, Northwestern a Texaská univerzita v Austinu v roce 2023 vyřadily detektory umělé inteligence Turnitin z provozu s odkazem na výše uvedené problémy s účinností.7 Ostatní vzdělávací instituce budou pravděpodobně následovat tento příklad, protože se může stát, že detekční nástroje způsobují více problémů, než kolik jich řeší.8 Některé akademické instituce nejenže vypínají nástroje pro detekci umělé inteligence, ale hledají způsoby, jak eticky a produktivně začlenit LLM do svých studijních programů.9
Kromě toho byly vydány nové "humanizační" nástroje, které uživatelům LLM umožňují obejít nástroje pro detekci umělé inteligence "přeformulováním vět, změnou struktur a začleněním pestré slovní zásoby", což výrazně snižuje pravděpodobnost detekce umělé inteligence.10 První výzkumy naznačují, že nástroje pro parafrázování výrazně komplikují detekci UI.11 Například deník Washington Post zjistil, že nástroj Turnitin má problémy s identifikací obsahu vytvořeného umělou inteligencí, pokud se v textu mísí lidský obsah a obsah vytvořený umělou inteligencí prostřednictvím nástrojů pro parafrázování.12
Přestože společnost Turnitin vydala novou funkci detekce parafrázování umělou inteligencí ve svém nástroji pro detekci umělé inteligence,13 takové reakce vytvářejí obtížný kontext na trhu pro detekci AI, přičemž ostatní společnosti se přeorientovávají na jiné obchodní modely,14 nebo uzavření.15
Níže je v abecedním pořadí uveden výběr hlavních nástrojů pro detekci UI. Zahrnuli jsme také veřejně dostupné informace týkající se účinnosti detekce, integrace vzdělávací platformy, ceny (v USD) a data vydání a/nebo aktualizace. Všimněte si, že většina níže uvedených nástrojů pro detekci UI je účinná především pouze proti ChatGPT-3.5.
| Nástroj pro detekci umělé inteligence | Existuje integrace do vzdělávacích platforem? | Ceny (USD) | Datum vydání/aktualizace |
| Kompilace | Ano: Moodle, Brightspace, Canvas, Microsoft Teams, Blackboard, Open LMS | Nebyly nalezeny žádné informace16 | únor 2023 |
| Obsah ve velkém měřítku | Ano: omezené informace | $49/měsíc17 | Žádné informace |
| Detektor obsahu AI | Žádné informace | Nebyly nalezeny žádné informace | 202318 |
| Copyleaks | Ano: Moodle, Canvas, Blackboard, Brightspace, Schoology, Sakai | $7.99-$13.99/month19 | leden 2023 |
| Crossplag | Žádné informace | $7-$100/month20 | leden 2023 |
| Detekce GPT | Žádné informace | $7-$29/měsíc21 | Žádné informace |
| Duplichecker | Žádné informace | $110-$2000/year22 | 2024 |
| Jdi na Winstona | Žádné informace | $12-$32/month23 | únor 2023 |
| GPT-Zero | Ano: Canvas, Coursify.me, K16 solutions, NewsGuard | $10-$23/month24 | leden 2023 |
| Originalita | Ano: Moodle, Scribbr | $14.95-$30/month25 | listopad 2022 |
| Detektor plagiátů (detekce umělou inteligencí) | Žádné informace | $110-$330/year26 | Žádné informace |
| Quillbot | Ano: Veřejně nejsou k dispozici žádné podrobnosti o tom, které platformy to jsou. | $0-$8.33/month27 | Žádné informace |
| Sapling | Nejasné | $0-$12/měsíc28 | leden 2023 |
| Scispace | Pravděpodobně, nicméně nedostatek informací | $0-$8/měsíc29 | Žádné informace |
| Turnitin | Ano: Brightspace, Scribbr | $3/student/rok30 | duben 2023 |
| Nezjistitelná AI | Žádné informace | $5-$14.99/month31 | květen 2023 |
| Wordtune | Pravděpodobně, nicméně nedostatek informací | $0-$9.99/month32 | leden 2023 |
| Detektor umělé inteligence spisovatele | Žádné informace | $0-$18/měsíc33 | Žádné informace |
| ZeroGPT | Ano: Veřejně nejsou k dispozici žádné podrobnosti o tom, které platformy to jsou. | $0-$18.99/month34 | leden 2023 |
V kontextu nástrojů pro detekci umělé inteligence dochází k falešně pozitivním výsledkům, když nástroj pro detekci umělé inteligence nesprávně identifikuje předložený obsah jako vytvořený umělou inteligencí. Některé studie naznačují, že nástroje pro detekci UI mají vysokou míru falešně pozitivních detekcí a pouze několik nástrojů pro detekci UI má výrazně nízkou míru falešně pozitivních detekcí.35 V akademickém prostředí to může znamenat nesprávné označení studentských prací jako vytvořených umělou inteligencí, i když jsou ve skutečnosti vytvořeny člověkem. Zjištěny byly také rozdíly v závislosti na tom, jaký model umělé inteligence je použit k vygenerování předloženého textu pro testování nástroje pro detekci umělé inteligence, a naopak, přičemž výsledky se v jednotlivých studiích liší.36 Kromě toho je pravděpodobnější, že obsah, který vytvořili nerodilí mluvčí angličtiny, bude nesprávně klasifikován jako vytvořený umělou inteligencí, což je samozřejmě problém pro vzdělávací instituce se studenty z různých prostředí.37
V kontextu nástrojů pro detekci umělé inteligence dochází k falešně negativním výsledkům, když nástroj pro detekci umělé inteligence neidentifikuje předložený obsah jako vytvořený umělou inteligencí. Některé nástroje vykazují nízkou citlivost a správně identifikují sotva 15% předložených vzorků jako vygenerované UI,38 zatímco jiné vykazují téměř dokonalé skóre při klasifikaci lidmi psaného obsahu, přičemž chybně klasifikovaly pouze 3% vzorků vytvořených umělou inteligencí.39 Obecně se výsledky značně liší v přesnosti v závislosti na použitém nástroji pro detekci UI. Jedna studie naznačuje, že pouze dva z hlavních nástrojů pro detekci UI správně klasifikovaly všech 126 vzorků jako vytvořené UI nebo člověkem.40 Jiní výzkumníci tvrdí, že nástroje pro detekci umělé inteligence produkují více falešně negativních výsledků při analýze složitějšího jazyka.41
Obecně se účinnost nástrojů pro detekci UI liší v závislosti na tom, jaký nástroj a proti jakému modelu je použit. Jedna studie zjistila, že nástroje pro detekci AI jsou účinnější u obsahu ChatGPT-3.5 a méně účinné u obsahu ChatGPT-4, s výjimkou nástrojů Copyleaks, Turnitin a Originality.ai, které měly při detekci obsahu ChatGPT-4 přesnost vyšší než 83%.42 Tato studie dospěla k závěru, že "status detektoru jako bezplatného nebo placeného není dobrým ukazatelem jeho přesnosti",43 ačkoli kontrastní zjištění (s malou velikostí vzorku) předběžně naznačují, že placené nástroje pro detekci UI se zdají být lepší než bezplatné nástroje pro detekci UI.44 Studie se také obvykle zaměřují na účinnost nástrojů pro detekci UI proti ChatGPT a ignorují ostatní LLM. To může být způsobeno větší popularitou modelů OpenAI ve srovnání s jinými, jako jsou Gemini, Mistral nebo Command.
Používání chatbotů s umělou inteligencí v akademickém prostředí vyvolává závažné etické otázky, počínaje poškozením pověsti studentů i vysokoškolských institucí. V případě studentů může neoznámení používání obsahu generovaného umělou inteligencí a jeho vydávání za vlastní poškodit jejich další vzdělávání a budoucí kariéru. Univerzity mohou podobně čelit obvinění z umožnění plagiátorství, podvádění a nedodržování akademické integrity.
Používání nástrojů pro detekci umělé inteligence bez náležitých ochranných opatření však vyvolává stejně závažné obavy ohledně ochrany soukromí a souhlasu, zejména pokud jde o smluvní ujednání mezi univerzitami a poskytovatelem nástroje. Tyto obavy zahrnují, co se stane s nahraným obsahem, jak bude uložen a souhlas, pokud bude nahraný obsah použit v budoucích tréninkových datech.
Jak bylo uvedeno v předchozí části, nástroje pro detekci umělé inteligence mohou navíc nesprávně identifikovat obsah napsaný člověkem jako umělou inteligenci (falešně pozitivní výsledky) nebo mohou selhat při detekci textu vytvořeného umělou inteligencí (falešně negativní výsledky). Přesnost se značně liší, přičemž některé nástroje jsou v detekci ChatGPT-3.5 lepší. V neposlední řadě se hraje hra na kočku a myš s metodami, jak se vyhnout detekci - včetně softwaru, který speciálně generuje obsah navržený tak, aby nebyl detekovatelný standardními nástroji pro detekci AI.45
Nástroje pro detekci umělé inteligence také přispívají k širším debatám o přístupu, spravedlnosti a dopadu na životní prostředí. Studenti mohou využívat AI k podpoře překladu a porozumění učiva, zejména pokud studují v anglicky mluvící zemi a pocházejí z neanglicky mluvícího nebo jiného minoritního prostředí s historicky menšími možnostmi vysokoškolského vzdělání. Problémy s přístupem vznikají také kvůli komerční dostupnosti LLM; lépe situovaní studenti mohou být schopni zaplatit si sofistikovanější modely a/nebo podávat své práce prostřednictvím více LLM, což znamená, že šance na odhalení výrazně klesá.46
Program Google.org Cybersecurity Seminars podporuje semináře o kybernetické bezpečnosti na vybraných univerzitách a dalších způsobilých vysokoškolských institucích v Evropě, na Blízkém východě a v Africe, aby pomohl studentům dozvědět se více o kybernetické bezpečnosti a prozkoumat možnosti uplatnění v této oblasti. Program aktivně podporuje rozšiřování vzdělávání v oblasti kybernetické bezpečnosti na vysokých školách, aby se vytvořila různorodá pracovní síla potřebná k tomu, aby pomohla nejzranitelnějším organizacím předcházet potenciálním kybernetickým útokům. Zabývá se také novými riziky plynoucími z umělé inteligence (AI), poskytuje studentům porozumění změnám v oblasti kybernetických hrozeb na základě AI a pomáhá jim efektivně začlenit AI do praktických opatření v oblasti kybernetické bezpečnosti.
Od zúčastněných univerzit se očekává, že budou v rámci svých programů aktivně podporovat rovnost, rozmanitost a inkluzi. Měly by podporovat silnou účast osob z různých prostředí a vytvářet inkluzivní prostředí pro vzdělávání, čímž obohatí celkovou zkušenost se vzděláváním a posílí komunitu kybernetické bezpečnosti.