Правда ли, что «Антиплагиат» распознает сгенерированные нейросетью тексты?

Проверили новую способность системы проверять статьи и дипломы от ChatGPT

11
Правда ли, что «Антиплагиат» распознает сгенерированные нейросетью тексты?

В начале мая сервис обнаружения текстовых заимствований «Антиплагиат» запустил функцию распознавания текстов, сгенерированных в нейросетях.

По задумке, сервис должен заметить, что части текста написали в одной из версий ChatGPT, и пометить работу как подозрительную. Новая проверка появилась накануне сессий, выпускных экзаменов и сдачи дипломов в вузах. А в России, несмотря на ограничения, ChatGPT уже достаточно активно применяют в учебном процессе.

Мы протестировали обновленный «Антиплагиат» на сгенерированных текстах и выяснили, что он действительно работает. Но обойти систему все еще можно.

Как «Антиплагиат» распознает сгенерированный текст

Функция выявления ИИ-текстов доступна только в платной версии. Одна проверка стоит 472 ₽ — если покупать сразу несколько, будет дешевле. Детектор обучен и протестирован на большом наборе данных, поэтому риск ложного срабатывания минимален, уверяют в «Антиплагиате».

В компании отметили, что сами разработали алгоритм «на основе многолетних исследований» по обработке естественного языка. «Несмотря на все успехи ChatGPT или Jasper, их тексты все еще отличаются от написанных человеком», — заявил исполнительный директор компании Юрий Чехович.

Система анализирует текст на наличие фрагментов, созданных с помощью языковых моделей GPT-2, GPT-3 и ChatGPT — версий GPT-3.5 и GPT-4. Если система находит такой фрагмент, она выделяет его красным цветом, а документ маркируют как подозрительный.

Подобные сервисы существовали и до обновления «Антиплагиата». В основном они работают по одному и тому же принципу: смотрят на «предсказуемость» каждого следующего слова в тексте. Например, если дополнять приложение «Каждый день он ходит на…», то очевидные ответы — «работу» или «учебу». Нейросети, особенно устаревшие, составляют именно такие предсказуемые цепочки, чтобы не потерять связность. Людям тоже свойственна шаблонность, но не на протяжении всего текста. Такую последовательность и вычисляют сервисы, но чем сложнее нейросеть — тем сложнее и разнообразнее генерация текста.

Как понять, что текст сгенерирован нейросетью

Пишет слишком конкретно. Нейросеть предсказывает следующее слово в предложении и таким образом генерирует текст. Из-за этого алгоритмы плохо рассуждают на абстрактные темы.

Генерирует галлюцинации. Нейросеть может придумывать вымышленные факты, если у нее недостаточно данных о реальном мире. Алгоритмы не могут усомниться в себе. Они признают ошибки, только если прямо на них указать.

Пишет неперсонализированный текст. ChatGPT имитирует опыт миллионов людей, поэтому глубины и экспертности у нее мало. Написать по-настоящему вдумчивый текст может только человек с богатым личным опытом.

Как мы проверяли тексты в «Антиплагиате»

Где мы генерировали тексты. Мы попросили нейросеть создать научную статью «Анализ эффективности деятельности подразделения предприятия» — на популярную экономическую тему, по которой много источников и студенческих работ. Для чистоты эксперимента сгенерированный текст мы вручную не редактировали. Все наполнение статьи — план, разделы и источники — придумала нейросеть.

Всего мы сгенерировали шесть текстов, по два в GPT-3, GPT-3.5 и в GPT-4:

  1. GPT-3 — уже устаревшая модель от OpenAI, современные сервисы проверок обучены преимущественно на ней или даже прошлой версии, GPT-2.
  2. GPT-3.5 — базовая модель в основе ChatGPT, актуальная и бесплатная для пользователей чат-бота.
  3. GPT-4 — новая и наиболее мощная, но платная версия, доступная только по премиум-подписке.

Для каждой модели один текст мы сгенерировали на русском языке, а второй — на английском. Англоязычные тексты потом перевели через нейросетевой переводчик DeepL без дополнительной редактуры. Так мы сразу проверили популярный совет пользоваться связкой «англоязычный ChatGPT — переводчик» для обхода «Антиплагиата».


Что у нас вышло. Шесть сгенерированных текстов мы отправили на платную проверку «Антиплагиата». Оригинальность у всех текстов оказалась достаточно высокая: более 85%. В среднем в российских вузах от выпускных квалификационных работ требуется уникальность на уровне 80—90%, а для рефератов и курсовых работ — и того меньше.

Четыре текста из шести не прошли проверку — «Антиплагиат» определил работу нейросети.

У них появилась отметка «Подозрительные». Причем система распознала и старую модель GPT-3 — она справилась хуже всех, — и актуальные GPT-3.5 и GPT-4.

Полностью прошли проверку «Антиплагиата» только те тексты, которые мы изначально сгенерировали на английском языке, а потом пропустили через переводчик.

Результаты моего тестирования

ОригинальностьПодозрение на то, что текст сгенерирован в нейросети
GPT-3 на русском87,44%Да
GPT-3 на английском87,44%Да
GPT-3.5 на русском90,19%Да
GPT-3.5 на английском95,09%Нет
GPT-4 на русском88,52%Да
GPT-4 на английском89,68%Нет

Результаты моего тестирования

GPT-3 на русском
Оригинальность87,44%
Подозрение на то, что текст сгенерирован в нейросетиДа
GPT-3 на английском
Оригинальность87,44%
Подозрение на то, что текст сгенерирован в нейросетиДа
GPT-3.5 на русском
Оригинальность90,19%
Подозрение на то, что текст сгенерирован в нейросетиДа
GPT-3.5 на английском
Оригинальность95,09%
Подозрение на то, что текст сгенерирован в нейросетиНет
GPT-4 на русском
Оригинальность88,52%
Подозрение на то, что текст сгенерирован в нейросетиДа
GPT-4 на английском
Оригинальность89,68%
Подозрение на то, что текст сгенерирован в нейросетиНет

По каждому материалу можно посмотреть отчет, какие именно подозрительные элементы нашел «Антиплагиат». Сервис выделил красным куски текста, которые посчитал сгенерированным — около половины в каждой статье.

В основном система выделяла введение и заключение. Вероятно, потому что они лучше всего подходят под выявление ИИ — довольно шаблонный текст без особой конкретики и размышлений.

Отчет «Антиплагиата». На самом деле весь текст сгенерирован
Отчет «Антиплагиата». На самом деле весь текст сгенерирован

Можно ли обойти «Антиплагиат»

Преимущество ChatGPT в том, что сервис запоминает контекст диалога и может дальше работать с текстом, сгенерированным ранее. Поэтому мы решили доработать статью с помощью нейросети и посмотреть, как на это отреагирует «Антиплагиат». За основу взяли текст, который сгенерировала GPT-3.5 на русском языке.

Мы взяли части, которые «Антиплагиат» выделил красным, и попросили ChatGPT переписать их заново. Запрос был такой: «Перепиши этот текст так, чтобы он был оригинальным и проходил проверку сервисов, которые определяют, что текст сгенерировала нейросеть. Сделай его более читаемым».

Перегенерация не помогла. «Антиплагиат» снова выделил больше половины текста красным, а оригинальность упала на долю процента.

«Антиплагиат» говорит, что мы сгенерировали текст
«Антиплагиат» говорит, что мы сгенерировали текст

Тогда мы попробовали перегенерировать выделенные «Антиплагиатом» части с нуля, уточнить детали и написать текст так, как его бы написал студент российского вуза на четвертом курсе. Это немного увеличило оригинальность, но текст снова пометили как подозрительный. «Антиплагиат» все еще «ругался» на введение и заключение.

Вероятно, если бы мы более вдумчиво подошли к написанию текста и отредактировали его самостоятельно, то смогли бы обойти плагиат. Либо можно с самого начала генерировать текст на английском языке, а затем пропускать его через переводчик.

Другим пользователям удалось обойти проверку «Антиплагиата». Александр Жадан, который написал диплом с помощью ChatGPT и прославился этим, тоже опробовал новую функцию «Антиплагиата». Он отправил на платную проверку девять страниц своего диплома. Сервис посчитал весь документ подозрительным и отметил, что три страницы сгенерированы в нейросетях. Затем Жадан попросил ChatGPT переписать текст, поменять структуру и сделать его более читаемым. В итоге «Антиплагиат» не нашел сгенерированные фрагменты.

В комментариях к треду Жадана предположили, что сервис проверки на нейросетевые тексты хуже работает с большими объемами. Пользователи считают, что он помечает красным простые предложения, которые многократно повторяются в интернете.

Диплом Александра Жадана. Источник: твиттер-аккаунт Aleksandr Zhadan
Диплом Александра Жадана. Источник: твиттер-аккаунт Aleksandr Zhadan

В «Антиплагиате» обратили внимание на тред Жадана и признали, что проверку сервиса можно обойти. В пресс-службе считают, что Жадану помогло редактирование текста: «Любое вмешательство человека в сгенерированный ИИ текст, конечно же, „очеловечивает“ его, позволяя обойти алгоритм распознавания». Для обхода «Антиплагиата» понадобилось значительное время на работу с чат-ботом, посчитали разработчики системы.

Пресс-служба «Антиплагиата» отметила, что ChatGPT хорошо пишет тексты, и дала советы по работе с нейросетями:

  1. Перепроверять факты. ИИ выдумывает информацию, потому что пытается создать не корректный, а похожий на человеческий текст. Например, часто ChatGPT ссылается на несуществующие произведения.
  2. Генерировать небольшие отрывки. У ИИ есть проблемы с логикой в больших текстах. Часто ChatGPT выдает не мысль, а просто набор фраз, поэтому текст перестает быть осмысленным. Контролировать логику позволяет генерация небольших частей текста.
  3. Грамотно ставить задачу. ChatGPT не напишет диплом с нуля. Чтобы получить качественный текст, нужно четко ставить задачу, проверять текст на достоверность.

Выводы

  1. Если вы полностью генерировали научную работу в ChatGPT, то, скорее всего, «Антиплагиат» отметит текст как подозрительный.
  2. Если вы полностью генерировали научную работу в ChatGPT на английском языке, а потом перевели на русский язык, «Антиплагиат» не отметит текст как подозрительный.
  3. Если вы использовали ChatGPT для сбора и упорядочивания информации при написании научной работы, часть редактировали, а часть переписывали вручную, то, вероятнее всего, «Антиплагиат» не распознает сгенерированный текст.

Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult

Пробовали генерировать материалы для учебы в соцсетях? Поделитесь опытом:
Комментарии проходят модерацию по правилам журнала
Загрузка
0

Ради эксперимента отправляли туда курсач написанный человеком, но он все равно отметил текст подозрительным, так что хз.

16
0

Вы что-то слышали про слепые тесты и критерий фишера?

Чтобы реально проверить может ли антиплагиат что-то определить - нужно проводить правильно спроектированный тест.
В том числе на статьях заведомо написанных человеком.

А так - вы просто получили рандомные данные и сделали рандомные выводы.

11

Mihail, это же журналистское исследование. Оно может не отвечать критериям научности и пишется скорее для сведения и для размышлений.

3

Mihail, тут не стоит задача провести тест на статьях, написанных человеком, потому что цель статьи, в первую очередь, ответить на вопрос: "Чё, реально не прокатит?"
И статья с этим отлично справляется.

Я сейчас сижу с эссе на абстрактнтую тему про управленческий учёт в цифровой экономике, сравниваю свои формулировки и ГПТшные, и прихожу к выводу, что наверняка и моя самостоятельно написанная работа такую проверку не пройдёт, потому что я бы писала теми же фразами, что и нейросеть -- стиль-то официально-деловой, как ни крути, тут не разгуляешься в каких-то живописных образах и характерных фразочках, а ещё и в объём попасть надо, так что вода водой местами.

0
0

Нейросеть изначально обучена писать тексты, которые написал бы "средний человек"
Какого-то НАДЕЖНОГО способа определять текст написаный нейррсетью не может быть в принципе.

9
0

было бы интересно посмотреть, как антиплагиат с этой функцией реагирует на тексты, написанные людьми

5

🧺, целиком мной написанную статью не приняли, АП ВУЗ считает её сгенерированной. И хрен докашешь, эх

3
0

Даша, клевый опыт!

1
0

Антиплагиат у меня помечал сгенерированной нейросетью полностью оригинальную работу, просто потому что в прошлом я собирал информацию по нужной теме и ссылки на статьи через нейросети, в итоге отказался от всего этого и написал чисто сам без какой-либо сторонней помощи и подсказок. Может, просто написание у меня роботическое. Без понятия что тут сказать.

1
0

25.11.23, 18:19

Отредактировано

Полный бред. По факту антиплагиат может определить и написанный лично мной текст как сгенерированный. И какой смысл писать самому? Проще тупо генерировать, а потом с этим, что нибудь придумывать

1
0

Что это за антиплагиат?

0

Сообщество