By visiting our site, you agree to our privacy policy regarding cookies, tracking statistics, etc.
Niniejszy raport, zbadany latem 2024 r., analizuje zwiększone wykorzystanie chatbotów AI w środowisku akademickim po uruchomieniu ChatGPT w 2022 r. oraz reakcję instytucji edukacyjnych za pomocą narzędzi do wykrywania AI. Omówiono w nim różną skuteczność tych narzędzi w identyfikowaniu treści generowanych przez sztuczną inteligencję, z takimi kwestiami jak fałszywe alarmy i fałszywe negatywy. Raport podkreśla również obawy etyczne dotyczące prywatności, dokładności i wykorzystania sztucznej inteligencji w edukacji. Niektóre instytucje ponownie rozważają wykorzystanie narzędzi wykrywających, zamiast tego decydując się na odpowiedzialne włączenie sztucznej inteligencji do programów nauczania.
Niniejszy przewodnik jest przeznaczony przede wszystkim dla uniwersytetów i innych instytucji szkolnictwa wyższego uczestniczących w programie Google.org Cybersecurity Seminars. Jest on skierowany do mistrzów wydziałowych i mistrzów EDI tych programów. Oprócz seminariów Google.org Cybersecurity Seminars, niniejszy przewodnik może być również istotny dla innych organizacji zaangażowanych w praktyczną edukację w zakresie cyberbezpieczeństwa.
Uruchomienie ChatGPT w 2022 r. wzbudziło ogólnoświatowe zainteresowanie sztuczną inteligencją (AI) i doprowadziło do powszechnego wykorzystania chatbotów AI, w tym przez studentów. Po pojawieniu się chatbotów AI instytucje szkolnictwa wyższego wyraziły obawy dotyczące "nieuczciwego wykorzystywania treści generowanych przez sztuczną inteligencję w środowisku akademickim "1 oraz "oryginalności i adekwatności treści generowanych przez chatbota "2.
Aby wykrywać i zarządzać niewłaściwym lub nieuczciwym wykorzystaniem takich chatbotów, narzędzia do wykrywania sztucznej inteligencji zyskały na popularności, a standardowe narzędzia do wykrywania plagiatu, takie jak TurnItIn, zaczęły wykrywać treści generowane przez sztuczną inteligencję z różnym stopniem skuteczności i w różnych przedziałach cenowych.3 Większość narzędzi do wykrywania sztucznej inteligencji w środowisku akademickim jest zintegrowana z szerszymi platformami edukacyjnymi, takimi jak Moodle, Canvas, Blackboard, Brightspace, Schoology lub Sakai.4
Narzędzia do wykrywania sztucznej inteligencji identyfikują wygenerowany tekst za pomocą dopasowywania wzorców, a nie porównywania go z bazą danych, jak robią to tradycyjne narzędzia do sprawdzania plagiatu. Modele językowe są szkolone na ogromnych ilościach danych tekstowych, aby nauczyć się probabilistycznych reguł językowych, których używają do tworzenia nowych treści. Jednak wygenerowany tekst często wykazuje przewidywalne wzorce, takie jak spójna struktura zdań, nadużywanie niektórych spójników i słownictwa oraz przewidywalna długość zdań lub akapitów. Narzędzia wykrywające mają na celu wykrycie tych wzorców i mogą również obejmować tradycyjne kontrole plagiatu w celu zidentyfikowania tekstu, który mógł zostać odtworzony bezpośrednio z danych treningowych modelu.5
Kiedy po raz pierwszy pojawiły się narzędzia do wykrywania sztucznej inteligencji, instytucje szkolnictwa wyższego pospiesznie zintegrowały je z platformami edukacyjnymi. Jednak większość, jeśli nie wszystkie, narzędzia do wykrywania sztucznej inteligencji można obejść, jeśli poświęci się na to wystarczająco dużo czasu i wysiłku.6 Niektóre instytucje szkolnictwa wyższego wycofują się zatem z decyzji o wykorzystaniu detektorów sztucznej inteligencji. W 2023 r. Vanderbilt, Michigan State, Northwestern i University of Texas at Austin wyłączyły swoje narzędzia do wykrywania sztucznej inteligencji Turnitin, powołując się na problemy ze skutecznością omówione powyżej.7 Inne instytucje edukacyjne prawdopodobnie pójdą w ich ślady, ponieważ może się okazać, że narzędzia do wykrywania powodują więcej problemów niż rozwiązują.8 Niektóre instytucje akademickie nie tylko wyłączają narzędzia do wykrywania sztucznej inteligencji, ale także znajdują sposoby na etyczne i produktywne włączenie LLM do swoich programów nauczania.9
Co więcej, pojawiły się nowe narzędzia "humanizujące", które umożliwiają użytkownikom LLM ominięcie narzędzi wykrywających sztuczną inteligencję poprzez "przeformułowanie zdań, zmianę struktur i włączenie zróżnicowanego słownictwa", co znacznie zmniejsza prawdopodobieństwo wykrycia sztucznej inteligencji.10 Wstępne badania sugerują, że narzędzia parafrazujące znacznie komplikują wykrywanie sztucznej inteligencji.11 Na przykład Washington Post odkrył, że Turnitin ma trudności z identyfikacją treści generowanych przez sztuczną inteligencję, gdy tekst łączy treści generowane przez człowieka i sztuczną inteligencję za pomocą narzędzi parafrazujących.12
Chociaż Turnitin udostępnił nową funkcję wykrywania parafrazowania AI w swoim narzędziu do wykrywaniaAI13 , takie reakcje tworzą trudny kontekst rynkowy dla wykrywania AI, a inne firmy przestawiają się na inne modelebiznesowe14 lub zamykajądziałalność15.
Wybór głównych narzędzi do wykrywania sztucznej inteligencji wymieniono poniżej w kolejności alfabetycznej. Zawarliśmy również publicznie dostępne informacje dotyczące skuteczności wykrywania, integracji platformy edukacyjnej, cen (w USD) oraz daty wydania i/lub aktualizacji. Proszę zauważyć, że większość wymienionych poniżej narzędzi do wykrywania sztucznej inteligencji jest skuteczna głównie tylko przeciwko ChatGPT-3.5.
Narzędzie do wykrywania sztucznej inteligencji | Czy istnieje integracja z platformami edukacyjnymi? | Ceny (USD) | Data wydania/aktualizacji |
Kompilacja | Tak: Moodle, Brightspace, Canvas, Microsoft Teams, Blackboard, Open LMS | Nie znaleziono żadnych informacji16 | Luty 2023 r. |
Treści na dużą skalę | Tak: ograniczone informacje | 49 USD/miesiąc17 | Brak informacji |
Detektor treści AI | Brak informacji | Nie znaleziono żadnych informacji | 202318 |
Copyleaks | Tak: Moodle, Canvas, Blackboard, Brightspace, Schoology, Sakai | $7,99-$13,99/miesiąc19 | Styczeń 2023 r. |
Crossplag | Brak informacji | 7-100 USD/miesiąc20 | Styczeń 2023 r. |
Wykryj GPT | Brak informacji | 7-29 USD/miesiąc21 | Brak informacji |
Duplichecker | Brak informacji | 110-2000 USD/rok22 | 2024 |
Go Winston | Brak informacji | 12-32 USD/miesiąc23 | Luty 2023 r. |
GPT-Zero | Tak: Canvas, Coursify.me, K16 solutions, NewsGuard | 10-23 USD/miesiąc24 | Styczeń 2023 r. |
Oryginalność | Tak: Moodle, Scribbr | $14,95-$30/miesiąc25 | Listopad 2022 r. |
Detektor plagiatu (wykrywanie AI) | Brak informacji | 110-330 USD/rok26 | Brak informacji |
Quillbot | Tak: Brak publicznie dostępnych szczegółów dotyczących platform | 0-8,33 USD/miesiąc27 | Brak informacji |
Sadzonka | Niejasne | $0-$12/miesiąc28 | Styczeń 2023 r. |
Scispace | Prawdopodobnie, jednak brak informacji | $0-$8/miesiąc29 | Brak informacji |
Turnitin | Tak: Brightspace, Scribbr | 3 USD/student/rok30 | Kwiecień 2023 r. |
Niewykrywalna sztuczna inteligencja | Brak informacji | $5-$14.99/miesiąc31 | Maj 2023 r. |
Wordtune | Prawdopodobnie, jednak brak informacji | $0-$9.99/miesiąc32 | Styczeń 2023 r. |
Detektor AI pisarza | Brak informacji | 0-18 USD/miesiąc33 | Brak informacji |
ZeroGPT | Tak: Brak publicznie dostępnych szczegółów dotyczących platform | $0-$18.99/miesiąc34 | Styczeń 2023 r. |
W kontekście narzędzi do wykrywania sztucznej inteligencji fałszywie pozytywne wyniki występują, gdy narzędzie do wykrywania sztucznej inteligencji nieprawidłowo identyfikuje przesłane treści jako wygenerowane przez sztuczną inteligencję. Niektóre badania wskazują, że narzędzia do wykrywania sztucznej inteligencji mają wysoki wskaźnik fałszywych alarmów, a tylko kilka narzędzi do wykrywania sztucznej inteligencji ma znacznie niski wskaźnik fałszywych alarmów.35 W środowisku akademickim może to oznaczać nieprawidłowe oznaczenie pracy studenta jako wygenerowanej przez sztuczną inteligencję, podczas gdy w rzeczywistości jest ona generowana przez człowieka. Istnieją również różnice w zależności od tego, który model sztucznej inteligencji jest używany do generowania przesłanego tekstu do testowania przez narzędzie do wykrywania sztucznej inteligencji i odwrotnie, z różnymi wynikami w różnych badaniach.36 Ponadto treści autorstwa osób niebędących rodzimymi użytkownikami języka angielskiego są częściej nieprawidłowo klasyfikowane jako generowane przez sztuczną inteligencję, co jest oczywiście problemem dla instytucji edukacyjnych ze studentami z różnych środowisk.37
W kontekście narzędzi do wykrywania sztucznej inteligencji, wyniki fałszywie ujemne występują, gdy narzędzie do wykrywania sztucznej inteligencji nie identyfikuje przesłanych treści jako wygenerowanych przez sztuczną inteligencję. Niektóre narzędzia wykazały niską czułość, prawidłowo identyfikując zaledwie 15% przesłanych próbek jako wygenerowane przez sztuczną inteligencję,38 podczas gdy inne wykazują niemal doskonały wynik w klasyfikowaniu treści napisanych przez człowieka, błędnie klasyfikując tylko 3% próbek wygenerowanych przez sztuczną inteligencję.39 Ogólnie rzecz biorąc, wyniki różnią się znacznie pod względem dokładności w zależności od używanego narzędzia do wykrywania sztucznej inteligencji. Jedno z badań sugeruje, że tylko dwa z głównych narzędzi do wykrywania sztucznej inteligencji poprawnie zaklasyfikowały wszystkie 126 próbek jako wygenerowane przez sztuczną inteligencję lub człowieka.40 Inni badacze twierdzą, że narzędzia do wykrywania sztucznej inteligencji generują więcej fałszywych negatywów podczas analizy bardziej wyrafinowanego języka.41
Ogólnie rzecz biorąc, skuteczność narzędzi do wykrywania sztucznej inteligencji różni się w zależności od używanego narzędzia i modelu. Jedno z badań wykazało, że narzędzia do wykrywania sztucznej inteligencji są bardziej skuteczne w przypadku treści ChatGPT-3.5, a mniej w przypadku ChatGPT-4, z wyjątkiem Copyleaks, Turnitin i Originality.ai, które miały ponad 83% dokładność w wykrywaniu treściChatGPT-442. W badaniu tym stwierdzono, że "darmowy lub płatny status detektora nie jest dobrym wskaźnikiem jego dokładności",43 chociaż kontrastujące wyniki (przy niewielkiej próbie) wstępnie sugerują, że płatne narzędzia do wykrywania AI wydawały się lepsze niż darmowe narzędzia do wykrywania AI.44 Badania koncentrują się również na skuteczności narzędzi do wykrywania AI przeciwko ChatGPT, ignorując inne LLM. Może to wynikać z większej popularności modeli OpenAI w porównaniu do innych, takich jak Gemini, Mistral czy Command.
Wykorzystanie chatbotów AI w środowisku akademickim rodzi istotne pytania natury etycznej, począwszy od uszczerbku na reputacji zarówno studentów, jak i instytucji szkolnictwa wyższego. W przypadku studentów, nieujawnienie korzystania z treści generowanych przez sztuczną inteligencję i podawanie ich jako własnych może zaszkodzić ich dalszej edukacji i przyszłej karierze. Uczelnie mogą również spotkać się z oskarżeniami o umożliwianie plagiatu, oszukiwanie i nieprzestrzeganie zasad uczciwości akademickiej.
Jednak korzystanie z narzędzi do wykrywania sztucznej inteligencji bez odpowiednich zabezpieczeń generuje równie istotne obawy dotyczące prywatności i zgody, zwłaszcza w odniesieniu do ustaleń umownych między uniwersytetami a dostawcą narzędzia. Takie obawy obejmują to, co dzieje się z przesłanymi treściami, w jaki sposób są one przechowywane oraz zgodę na wykorzystanie przesłanych treści w przyszłych danych szkoleniowych.
Ponadto, jak omówiono w poprzedniej sekcji, narzędzia do wykrywania sztucznej inteligencji mogą błędnie identyfikować treści napisane przez człowieka jako sztuczną inteligencję (wyniki fałszywie dodatnie) lub nie wykrywać tekstu wygenerowanego przez sztuczną inteligencję (wyniki fałszywie ujemne). Dokładność jest bardzo różna, a niektóre narzędzia lepiej wykrywają ChatGPT-3.5. Wreszcie, grają w kotka i myszkę z metodami unikania wykrycia - w tym oprogramowaniem, które specjalnie generuje treści zaprojektowane tak, aby były niewykrywalne przez standardowe narzędzia do wykrywania sztucznejinteligencji45.
Narzędzia do wykrywania AI przyczyniają się również do szerszych debat na temat dostępu, równości i wpływu na środowisko. Studenci mogą korzystać ze sztucznej inteligencji, aby wspierać tłumaczenie i rozumienie zajęć, zwłaszcza jeśli studiują w kraju anglojęzycznym i pochodzą ze środowisk nieanglojęzycznych lub innych mniejszości o historycznie mniejszych możliwościach edukacji uniwersyteckiej. Kwestie dostępu pojawiają się również ze względu na komercyjną dostępność LLM; bardziej zamożni studenci mogą być w stanie zapłacić za bardziej wyrafinowane modele i / lub przekazać swoją pracę wielu LLM, co oznacza, że szanse na wykrycie znaczniespadają46.
Program Google.org Cybersecurity Seminars wspiera kursy seminaryjne z zakresu cyberbezpieczeństwa na wybranych uniwersytetach i innych kwalifikujących się instytucjach szkolnictwa wyższego w Europie, na Bliskim Wschodzie i w Afryce, aby pomóc studentom dowiedzieć się więcej o cyberbezpieczeństwie i zbadać ścieżki rozwoju w tej dziedzinie. Program aktywnie wspiera rozwój szkoleń z zakresu cyberbezpieczeństwa na uniwersytetach, aby budować zróżnicowaną siłę roboczą potrzebną do pomocy najbardziej narażonym organizacjom w zapobieganiu potencjalnym cyberatakom. Zajmuje się również nowymi zagrożeniami związanymi ze sztuczną inteligencją (AI), zapewniając studentom zrozumienie opartych na AI zmian w krajobrazie cyberzagrożeń i pomagając im skutecznie zintegrować AI z praktycznymi środkami cyberbezpieczeństwa.
Oczekuje się, że uczestniczące uniwersytety będą aktywnie promować równość, różnorodność i integrację w ramach swoich programów. Powinny one zachęcać do silnego uczestnictwa osoby z różnych środowisk i tworzyć integracyjne środowisko edukacyjne, wzbogacając w ten sposób ogólne doświadczenie edukacyjne i wzmacniając społeczność cyberbezpieczeństwa.
Loading…