Відвідуючи наш сайт, ви погоджуєтеся з нашими політика конфіденційності щодо файлів cookie, статистики відстеження тощо.
У цьому звіті, підготовленому влітку 2024 року, досліджується зростання використання чат-ботів зі штучним інтелектом в академічних колах після запуску ChatGPT у 2022 році та реакція навчальних закладів на це за допомогою інструментів виявлення штучного інтелекту. У ньому обговорюється різна ефективність цих інструментів у виявленні контенту, створеного штучним інтелектом, а також такі проблеми, як хибнопозитивні та хибнонегативні спрацьовування. У звіті також висвітлюються етичні проблеми, пов'язані з конфіденційністю, точністю та використанням ШІ в освіті. Деякі навчальні заклади переглядають використання інструментів виявлення, вирішуючи натомість відповідально інтегрувати ШІ в навчальні програми.
Цей посібник призначений насамперед для університетів та інших вищих навчальних закладів, які беруть участь у Програмі семінарів з кібербезпеки Google.org. Він адресований факультетським чемпіонам та чемпіонам з електронного документообігу цих програм. Окрім семінарів Google.org з кібербезпеки, цей посібник також може бути корисним для інших організацій, що займаються практичною освітою з кібербезпеки.
Запуск ChatGPT у 2022 році викликав інтерес до штучного інтелекту (ШІ) у всьому світі та призвів до широкого використання чат-ботів зі штучним інтелектом, у тому числі й студентами. Після появи чат-ботів зі штучним інтелектом вищі навчальні заклади висловили занепокоєння щодо "недобросовісного використання контенту, створеного штучним інтелектом, в академічному середовищі"1 та "оригінальність і доречність контенту, згенерованого чат-ботом".2
Для виявлення та управління неналежним або недобросовісним використанням таких чат-ботів зросла популярність інструментів виявлення ШІ, причому стандартні інструменти для виявлення плагіату, такі як TurnItIn, з різним ступенем ефективності та за різними ціновими показниками виявляють контент, згенерований ШІ.3 Більшість інструментів виявлення ШІ в академічних колах інтегровані в більш широкі освітні платформи, такі як Moodle, Canvas, Blackboard, Brightspace, Schoology або Sakai.4
Інструменти виявлення ШІ ідентифікують згенерований текст, використовуючи співставлення шаблонів, а не порівнюючи його з базою даних, як це роблять традиційні програми перевірки на плагіат. Мовні моделі навчаються на величезних обсягах текстових даних, щоб вивчити імовірнісні мовні правила, які вони використовують для створення нового контенту. Однак згенерований текст часто демонструє передбачувані шаблони, такі як однакові структури речень, надмірне використання певних сполучників і лексики, а також передбачувану довжину речень або абзаців. Інструменти виявлення спрямовані на виявлення цих шаблонів, а також можуть включати традиційну перевірку на плагіат, щоб виявити текст, який міг бути відтворений безпосередньо з навчальних даних моделі.5
Коли інструменти виявлення штучного інтелекту були вперше випущені, вищі навчальні заклади поспішили інтегрувати їх в освітні платформи. Однак більшість, якщо не всі, інструменти виявлення ШІ можна обійти, якщо докласти достатньо часу та зусиль.6 Тому деякі вищі навчальні заклади скасовують своє рішення про використання датчиків зі штучним інтелектом. У 2023 році Вандербільт, Мічиганський державний, Північно-Західний і Техаський університети в Остіні відключили свої АІ-детектори Turnitin, посилаючись на проблеми з ефективністю, про які йшлося вище.7 Інші навчальні заклади, ймовірно, наслідуватимуть цей приклад, оскільки може виявитися, що інструменти виявлення створюють більше проблем, ніж вирішують.8 Деякі навчальні заклади не лише відключають інструменти для виявлення ШІ, але й знаходять способи етичного та продуктивного включення магістерських програм у свої навчальні програми.9
Крім того, були випущені нові інструменти-"гуманізатори", які дозволяють користувачам LLM обходити інструменти виявлення ШІ шляхом "перефразування речень, зміни структури та включення різноманітної лексики", що значно знижує ймовірність виявлення ШІ.10 Початкові дослідження показують, що інструменти перефразування значно ускладнюють виявлення ШІ.11 Наприклад, Washington Post виявив, що Turnitin має проблеми з ідентифікацією контенту, створеного штучним інтелектом, коли в тексті змішується людський контент і контент, створений штучним інтелектом, за допомогою інструментів перефразування.12
Хоча Turnitin випустив нову функцію виявлення перефразування ШІ в своєму інструменті виявлення ШІ,13 Такі відповіді створюють складний ринковий контекст для виявлення ШІ, а інші компанії переорієнтовуються на інші бізнес-моделі,14 або закриття.15
Нижче в алфавітному порядку наведено перелік основних інструментів для виявлення ШІ. Ми також включили загальнодоступну інформацію про ефективність виявлення, інтеграцію з освітніми платформами, ціну (в доларах США), а також дату випуску та/або оновлення. Зверніть увагу, що більшість з перелічених нижче інструментів виявлення ШІ ефективні лише проти ChatGPT-3.5.
Інструмент виявлення ШІ | Чи є інтеграція в освітні платформи? | Ціни (USD) | Дата випуску/оновлення |
Compilatio | Так: Moodle, Brightspace, Canvas, Microsoft Teams, Blackboard, Open LMS | Інформацію не знайдено16 | Лютий 2023 року |
Зміст у масштабі | Так: обмежена інформація | $49/місяць17 | Немає інформації |
AI-детектор вмісту | Немає інформації | Інформацію не знайдено | 202318 |
Copyleaks | Так: Moodle, Canvas, Blackboard, Brightspace, Schoology, Sakai | $7.99-$13.99/month19 | Січень 2023 року |
Crossplag | Немає інформації | $7-$100/month20 | Січень 2023 року |
Виявити GPT | Немає інформації | $7-$29/місяць21 | Немає інформації |
Duplichecker | Немає інформації | $110-$2000/year22 | 2024 |
Вперед, Вінстоне. | Немає інформації | $12-$32/month23 | Лютий 2023 року |
GPT-нуль | Так: Canvas, Coursify.me, рішення K16, NewsGuard | $10-$23/month24 | Січень 2023 року |
Оригінальність | Так: Moodle, Scribbr | $14.95-$30/month25 | Листопад 2022 |
Детектор плагіату (ШІ-детектор) | Немає інформації | $110-$330/year26 | Немає інформації |
Квілбот. | Так: У відкритому доступі немає інформації про те, які саме платформи | $0-$8.33/month27 | Немає інформації |
Саджанець | Неясно. | $0-$12/місяць28 | Січень 2023 року |
Scispace | Ймовірно, однак брак інформації | $0-$8/місяць29 | Немає інформації |
Турнітин | Так: Brightspace, Scribbr | $3/студент/рік30 | Квітень 2023 року |
ШІ, який неможливо виявити | Немає інформації | $5-$14.99/month31 | Травень 2023 року |
Wordtune | Ймовірно, однак брак інформації | $0-$9.99/month32 | Січень 2023 року |
ШІ-детектор для письменника | Немає інформації | $0-$18/місяць33 | Немає інформації |
ZeroGPT | Так: У відкритому доступі немає інформації про те, які саме платформи | $0-$18.99/month34 | Січень 2023 року |
У контексті інструментів виявлення ШІ хибні спрацьовування виникають, коли інструмент виявлення ШІ неправильно ідентифікує надісланий контент як згенерований ШІ. Деякі дослідження показують, що інструменти виявлення ШІ мають високий рівень хибних спрацьовувань, і лише деякі інструменти виявлення ШІ мають суттєво низький рівень хибних спрацьовувань.35 В академічному середовищі це може означати неправильне позначення студентської роботи як створеної штучним інтелектом, хоча насправді вона створена людиною. Також виявлено відмінності залежно від того, яка модель ШІ використовується для створення тексту, що подається на перевірку інструменту виявлення ШІ, і навпаки, з різними результатами в різних дослідженнях.36 Крім того, контент, створений особами, які не є носіями англійської мови, з більшою ймовірністю може бути неправильно класифікований як створений штучним інтелектом, що, очевидно, є проблемою для навчальних закладів, де навчаються студенти з різним походженням.37
У контексті інструментів виявлення ШІ помилкові спрацьовування виникають, коли інструмент виявлення ШІ не може ідентифікувати надісланий контент як згенерований ШІ. Деякі інструменти показали низьку чутливість, правильно ідентифікувавши лише 15% з надісланих зразків як згенеровані ШІ,38 тоді як інші демонструють майже ідеальний результат у класифікації написаного людиною контенту, неправильно класифікуючи лише 3% зразків, згенерованих штучним інтелектом.39 Загалом, результати дуже різняться за точністю залежно від того, який інструмент виявлення ШІ використовується. Одне дослідження показало, що лише два з основних інструментів виявлення ШІ правильно класифікували всі 126 зразків як створені штучним інтелектом або людиною.40 Інші дослідники стверджують, що інструменти виявлення ШІ дають більше помилкових спрацьовувань при аналізі більш складної мови.41
Загалом, ефективність інструментів виявлення ШІ варіюється залежно від того, який інструмент використовується і проти якої моделі. Одне дослідження показало, що інструменти виявлення ШІ більш ефективні з контентом у форматі ChatGPT-3.5 і менш ефективні з контентом у форматі ChatGPT-4, за винятком Copyleaks, Turnitin і Originality.ai, точність яких у виявленні контенту в форматі ChatGPT-4 була вищою за 83%.42 У цьому дослідженні зроблено висновок, що "безкоштовний чи платний статус детектора не є добрим показником його точності",43 хоча контрастні результати (з невеликим розміром вибірки) попередньо вказують на те, що платні інструменти для виявлення ШІ виявилися кращими за безкоштовні інструменти для виявлення ШІ.44 Дослідження також зазвичай зосереджуються на ефективності інструментів виявлення ШІ проти ChatGPT, ігноруючи інші LLM. Це може бути пов'язано з більшою популярністю моделей OpenAI порівняно з іншими, такими як Gemini, Mistral або Command.
Використання чат-ботів зі штучним інтелектом в академічних колах порушує значні етичні питання, починаючи з репутаційної шкоди як для студентів, так і для вищих навчальних закладів. Якщо студенти не повідомляють про використання контенту, створеного штучним інтелектом, і видають його за власний, це може зашкодити їхньому навчанню та майбутній кар'єрі. Університети також можуть зіткнутися зі звинуваченнями в потуранні плагіату, шахрайстві та недотриманні академічної доброчесності.
Однак використання інструментів виявлення ШІ без належних гарантій викликає не менше занепокоєння щодо конфіденційності та згоди, особливо щодо контрактних домовленостей між університетами та постачальником інструменту. Зокрема, йдеться про те, що відбувається із завантаженим контентом, як він зберігається, а також про згоду на використання завантаженого контенту в майбутніх навчальних даних.
Крім того, як зазначалося в попередньому розділі, інструменти виявлення ШІ можуть помилково ідентифікувати написаний людиною контент як ШІ (помилкові спрацьовування) або не виявляти текст, створений ШІ (помилкові негативні спрацьовування). Точність широко варіюється, причому деякі інструменти краще виявляють ChatGPT-3.5. Нарешті, вони грають у гру в кота і мишу з методами уникнення виявлення, включаючи програмне забезпечення, яке спеціально генерує контент, призначений для невиявлення стандартними інструментами виявлення ШІ.45
Інструменти виявлення штучного інтелекту також сприяють ширшим дискусіям щодо доступу, рівності та впливу на навколишнє середовище. Студенти можуть використовувати ШІ для підтримки перекладу і розуміння курсових робіт, особливо якщо вони навчаються в англомовній країні і є представниками неангломовних або інших меншин, які історично мають менше можливостей для отримання університетської освіти. Проблеми з доступом також виникають через комерційну доступність магістерських програм; більш заможні студенти можуть оплачувати більш складні моделі та/або передавати свої роботи кільком магістрам, а це означає, що шанси на виявлення значно зменшуються.46
Програма семінарів з кібербезпеки Google.org підтримує семінарські курси з кібербезпеки у вибраних університетах та інших вищих навчальних закладах Європи, Близького Сходу та Африки, щоб допомогти студентам дізнатися більше про кібербезпеку та дослідити шляхи розвитку в цій галузі. Програма активно підтримує розширення навчання з кібербезпеки в університетах, щоб сформувати різноманітну робочу силу, необхідну для допомоги найбільш вразливим організаціям у запобіганні потенційним кібератакам. Вона також розглядає нові ризики, пов'язані зі штучним інтелектом (ШІ), надаючи студентам розуміння змін у ландшафті кіберзагроз на основі ШІ та допомагаючи їм ефективно інтегрувати ШІ в практичні заходи з кібербезпеки.
Очікується, що університети-учасники активно просуватимуть рівність, різноманітність та інклюзивність у своїх програмах. Вони повинні заохочувати активну участь осіб з різним походженням і створювати інклюзивне середовище для навчання, тим самим збагачуючи загальний навчальний досвід і зміцнюючи спільноту кібербезпеки.
Завантаження...