By visiting our site, you agree to our privacy policy regarding cookies, tracking statistics, etc.
У цьому звіті, підготовленому влітку 2024 року, досліджується зростання використання чат-ботів зі штучним інтелектом в академічних колах після запуску ChatGPT у 2022 році та реакція навчальних закладів на це за допомогою інструментів виявлення ШІ. У ньому обговорюється різна ефективність цих інструментів у виявленні контенту, створеного штучним інтелектом, а також такі проблеми, як хибнопозитивні та хибнонегативні спрацьовування. У звіті також висвітлюються етичні проблеми, пов’язані з конфіденційністю, точністю та використанням ШІ в освіті. Деякі навчальні заклади переглядають використання інструментів виявлення, вирішуючи натомість відповідально інтегрувати ШІ в навчальні програми.
Цей посібник призначений насамперед для університетів та інших вищих навчальних закладів, які беруть участь у Програмі семінарів з кібербезпеки Google.org. Він адресований факультетським чемпіонам та чемпіонам з електронного документообігу цих програм. Окрім семінарів Google.org з кібербезпеки, цей посібник також може бути корисним для інших організацій, що займаються практичною освітою з кібербезпеки.
Запуск ChatGPT у 2022 році викликав інтерес до штучного інтелекту (ШІ) у всьому світі та призвів до широкого використання чат-ботів зі штучним інтелектом, у тому числі й студентами. Після появи чат-ботів зі штучним інтелектом вищі навчальні заклади висловили занепокоєння щодо "недобросовісного використання контенту, створеного штучним інтелектом, в академічному середовищі "1, а також щодо "оригінальності та доречності контенту, створеного чат-ботом".2
Для виявлення та управління неналежним або недобросовісним використанням таких чат-ботів зросла популярність інструментів виявлення ШІ, причому стандартні інструменти для виявлення плагіату, такі як TurnItIn, з різним ступенем ефективності та за різними ціновими показниками виявляють контент, створений ШІ.3 Більшість інструментів виявлення ШІ в академічних колах інтегровані в більш широкі освітні платформи, такі як Moodle, Canvas, Blackboard, Brightspace, Schoology або Sakai.4
Інструменти для виявлення плагіату ідентифікують згенерований текст, використовуючи співставлення шаблонів, а не порівнюючи його з базою даних, як це роблять традиційні програми для перевірки на плагіат. Мовні моделі навчаються на величезних обсягах текстових даних, щоб вивчити імовірнісні мовні правила, які вони використовують для створення нового контенту. Однак згенерований текст часто демонструє передбачувані шаблони, такі як однакові структури речень, надмірне використання певних сполучників і лексики, а також передбачувану довжину речень або абзаців. Інструменти виявлення спрямовані на виявлення цих шаблонів і можуть також включати традиційну перевірку на плагіат, щоб виявити текст, який міг бути відтворений безпосередньо з навчальних даних моделі.5
Коли інструменти для виявлення ШІ були вперше випущені, вищі навчальні заклади поспішили інтегрувати їх в освітні платформи. Однак більшість, якщо не всі, інструменти виявлення ШІ можна обійти, якщо докласти достатньо часу і зусиль.6 Тому деякі вищі навчальні заклади скасовують своє рішення про використання детекторів ШІ. У 2023 році Вандербільтський, Мічиганський, Північно-Західний та Техаський університети в Остіні відключили свої детектори штучного інтелекту Turnitin, посилаючись на проблеми з ефективністю, про які йшлося вище.7 Інші навчальні заклади, ймовірно, наслідуватимуть цей приклад, оскільки інструменти виявлення створюють більше проблем, ніж вирішують.8 Деякі навчальні заклади не лише відключають інструменти виявлення ШІ, а й шукають способи етичного та продуктивного включення магістерських програм у свої навчальні плани.9
Крім того, були випущені нові інструменти-"гуманізатори", які дозволяють користувачам LLM обходити інструменти виявлення ШІ, "перефразовуючи речення, змінюючи структуру і використовуючи різноманітну лексику", що значно знижує ймовірність виявлення ШІ.10 Початкові дослідження показують, що інструменти перефразування значно ускладнюють виявлення ШІ.11 Наприклад, Washington Post виявив, що Turnitin бореться з ідентифікацією контенту, створеного ШІ, коли в тексті змішується людський контент і контент, створений ШІ, за допомогою інструментів перефразування.12
Хоча Turnitin випустив нову функцію виявлення перефразування ШІ у своєму інструменті виявленняШІ13 , такі відповіді створюють складний ринковий контекст для виявлення ШІ, оскільки інші компанії переорієнтовуються на іншібізнес-моделі14 або закриваються.15
Нижче в алфавітному порядку наведено перелік основних інструментів для виявлення ШІ. Ми також включили загальнодоступну інформацію про ефективність виявлення, інтеграцію з освітніми платформами, ціну (в доларах США), а також дату випуску та/або оновлення. Зверніть увагу, що більшість з перелічених нижче інструментів виявлення ШІ ефективні лише проти ChatGPT-3.5.
Інструмент виявлення ШІ | Чи є інтеграція в освітні платформи? | Ціни (USD) | Дата випуску/оновлення |
Compilatio | Так: Moodle, Brightspace, Canvas, Microsoft Teams, Blackboard, Open LMS | Інформацію не знайдено16 | Лютий 2023 року |
Зміст у масштабі | Так: обмежена інформація | $49/місяць17 | Немає інформації |
AI-детектор вмісту | Немає інформації | Інформацію не знайдено | 202318 |
Copyleaks | Так: Moodle, Canvas, Blackboard, Brightspace, Schoology, Sakai | $7.99-$13.99/місяць19 | Січень 2023 року |
Crossplag | Немає інформації | $7-$100/місяць20 | Січень 2023 року |
Виявити GPT | Немає інформації | $7-$29 на місяць21 | Немає інформації |
Duplichecker | Немає інформації | $110-$2000/рік22 | 2024 |
Вперед, Вінстоне. | Немає інформації | $12-$32 на місяць23 | Лютий 2023 року |
GPT-нуль | Так: Canvas, Coursify.me, рішення K16, NewsGuard | $10-$23 на місяць24 | Січень 2023 року |
Оригінальність | Так: Moodle, Scribbr | $14,95-$30/місяць25 | Листопад 2022 |
Детектор плагіату (ШІ-детектор) | Немає інформації | $110-$330/рік26 | Немає інформації |
Квілбот. | Так: У відкритому доступі немає інформації про те, які саме платформи | $0-$8,33/місяць27 | Немає інформації |
Саджанець | Неясно. | $0-$12/місяць28 | Січень 2023 року |
Scispace | Ймовірно, однак брак інформації | $0-$8 на місяць29 | Немає інформації |
Турнітин | Так: Brightspace, Scribbr | 3$/студент/рік30 | Квітень 2023 року |
ШІ, який неможливо виявити | Немає інформації | $5-$14.99/місяць31 | Травень 2023 року |
Wordtune | Ймовірно, однак брак інформації | $0-$9.99/місяць32 | Січень 2023 року |
ШІ-детектор для письменника | Немає інформації | $0-$18/місяць33 | Немає інформації |
ZeroGPT | Так: У відкритому доступі немає інформації про те, які саме платформи | $0-$18.99/місяць34 | Січень 2023 року |
У контексті інструментів виявлення ШІ хибні спрацьовування виникають тоді, коли інструмент виявлення ШІ неправильно ідентифікує поданий контент як створений ШІ. Деякі дослідження показують, що інструменти виявлення ШІ мають високий рівень хибних спрацьовувань, і лише деякі інструменти виявлення ШІ мають значно низький рівень хибних спрацьовувань.35 В академічному середовищі це може означати неправильне позначення студентської роботи як створеної ШІ, хоча насправді вона створена людиною. Існують також відмінності залежно від того, яка модель штучного інтелекту використовується для генерації тексту, поданого на перевірку інструменту виявлення ШІ, і навпаки, з різними результатами в різних дослідженнях.36 Крім того, контент, створений особами, які не є носіями англійської мови, з більшою ймовірністю буде неправильно класифікований як створений штучним інтелектом, що, очевидно, є проблемою для навчальних закладів, де навчаються студенти з різним походженням.37
У контексті інструментів виявлення ШІ помилкові спрацьовування виникають тоді, коли інструмент виявлення ШІ не може ідентифікувати наданий контент як створений ШІ. Деякі інструменти показали низьку чутливість, правильно визначивши лише 15% поданих зразків як створені ШІ,38 тоді як інші демонструють майже ідеальний результат у класифікації контенту, написаного людиною, неправильно класифікувавши лише 3% зразків, створених ШІ.39 Загалом, результати дуже різняться за точністю залежно від того, який інструмент виявлення ШІ використовується. Одне дослідження показало, що лише два з основних інструментів виявлення ШІ правильно класифікували всі 126 зразків як створені штучним інтелектом або людиною.40 Інші дослідники стверджують, що інструменти виявлення ШІ дають більше помилкових негативних результатів при аналізі більш складної мови.41
Загалом, ефективність інструментів виявлення ШІ варіюється залежно від того, який інструмент використовується і проти якої моделі. Одне дослідження показало, що інструменти виявлення ШІ більш ефективні для контенту ChatGPT-3.5 і менш ефективні для контенту ChatGPT-4, за винятком Copyleaks, Turnitin і Originality.ai, точність яких у виявленні контенту ChatGPT-4 перевищує 83%.42 Це дослідження дійшло висновку, що "безкоштовний чи платний статус детектора не є хорошим показником його точності",43 хоча протилежні результати (з невеликим розміром вибірки) попередньо свідчать про те, що платні інструменти виявлення ШІ виявилися кращими, ніж безкоштовні.44 Дослідження також зазвичай зосереджуються на ефективності інструментів виявлення ШІ проти ChatGPT, ігноруючи інші LLMs. Це може бути пов'язано з більшою популярністю моделей OpenAI порівняно з іншими, такими як Gemini, Mistral або Command.
Використання чат-ботів зі штучним інтелектом в академічних колах порушує значні етичні питання, починаючи з репутаційної шкоди як для студентів, так і для вищих навчальних закладів. Якщо студенти не повідомляють про використання контенту, створеного ШІ, і видають його за свій власний, це може зашкодити їхньому навчанню та майбутній кар'єрі. Університети також можуть зіткнутися зі звинуваченнями в потуранні плагіату, шахрайстві та недотриманні академічної доброчесності.
Однак використання інструментів виявлення ШІ без належних гарантій викликає не менше занепокоєння щодо конфіденційності та згоди, особливо щодо контрактних домовленостей між університетами та постачальником інструменту. Зокрема, йдеться про те, що відбувається із завантаженим контентом, як він зберігається, а також про згоду на використання завантаженого контенту в майбутніх навчальних даних.
Крім того, як зазначалося в попередньому розділі, інструменти виявлення ШІ можуть помилково ідентифікувати написаний людиною контент як ШІ (помилкові спрацьовування) або не виявляти текст, створений ШІ (помилкові негативні спрацьовування). Точність широко варіюється, причому деякі інструменти краще виявляють ChatGPT-3.5. Нарешті, вони грають у гру в кішки-мишки з методами уникнення виявлення, включаючи програмне забезпечення, яке спеціально генерує контент, призначений для невиявлення стандартними інструментами виявлення ШІ.45
Інструменти виявлення ШІ також сприяють ширшим дискусіям про доступ, рівність та вплив на навколишнє середовище. Студенти можуть використовувати ШІ для підтримки перекладу і розуміння курсових робіт, особливо якщо вони навчаються в англомовній країні і є представниками неангломовних або інших меншин, які історично мають менше можливостей для отримання університетської освіти. Проблеми з доступом також виникають через комерційну доступність магістерських програм; більш заможні студенти можуть платити за більш складні моделі та/або передавати свої роботи кільком магістрам, а це означає, що шанси на виявлення значно знижуються.46
Програма семінарів з кібербезпеки Google.org підтримує семінарські курси з кібербезпеки у вибраних університетах та інших вищих навчальних закладах Європи, Близького Сходу та Африки, щоб допомогти студентам дізнатися більше про кібербезпеку та дослідити шляхи розвитку в цій галузі. Програма активно підтримує розширення навчання з кібербезпеки в університетах, щоб сформувати різноманітну робочу силу, необхідну для допомоги найбільш вразливим організаціям у запобіганні потенційним кібератакам. Вона також розглядає нові ризики, пов'язані зі штучним інтелектом (ШІ), надаючи студентам розуміння змін у ландшафті кіберзагроз на основі ШІ та допомагаючи їм ефективно інтегрувати ШІ в практичні заходи з кібербезпеки.
Очікується, що університети-учасники активно просуватимуть рівність, різноманітність та інклюзивність у своїх програмах. Вони повинні заохочувати активну участь осіб з різним походженням і створювати інклюзивне середовище для навчання, тим самим збагачуючи загальний навчальний досвід і зміцнюючи спільноту кібербезпеки.
Loading…