Правда ли, что «Антипла­гиат» распо­знает сгенериро­ванные нейросетью тексты?

У сервиса обнаружения текстовых заимствований «Антиплагиат» есть функция распознавания текстов, сгенерированных в нейросетях.

По задумке, сервис должен заметить, что части текста написали в одной из версий ChatGPT, и пометить работу как подозрительную. А в России, несмотря на ограничения, ChatGPT уже достаточно активно применяют в учебном процессе. Мы протестировали обновленный «Антиплагиат» на сгенерированных текстах и выяснили, что он действительно работает. Но обойти систему все еще можно.

Функция выявления ИИ-текстов доступна только в платной версии. Одна проверка стоит 472 ₽ — если покупать сразу несколько, будет дешевле. Детектор обучен и протестирован на большом наборе данных, поэтому риск ложного срабатывания минимален, уверяют в «Антиплагиате».

В компании отметили, что сами разработали алгоритм «на основе многолетних исследований» по обработке естественного языка. «Несмотря на все успехи ChatGPT или Jasper, их тексты все еще отличаются от написанных человеком», — заявил исполнительный директор компании Юрий Чехович.

Система анализирует текст на наличие фрагментов, созданных с помощью языковых моделей начиная с GPT-2, в том числе и тех, которые используются в ChatGPT сейчас. Если система находит такой фрагмент, она выделяет его красным цветом, а документ маркируют как подозрительный.

Подобные сервисы существовали и до обновления «Антиплагиата». В основном они работают по одному и тому же принципу: смотрят на «предсказуемость» каждого следующего слова в тексте.

Например, если дополнять приложение «Каждый день он ходит на…», то очевидные ответы — «работу» или «учебу». Нейросети, особенно устаревшие, составляют именно такие предсказуемые цепочки, чтобы не потерять связность. Людям тоже свойственна шаблонность, но не на протяжении всего текста. Такую последовательность и вычисляют сервисы, но чем сложнее нейросеть — тем сложнее и разнообразнее генерация текста.

Где мы генерировали тексты. Мы попросили ChatGPT создать научную статью «Анализ эффективности деятельности подразделения предприятия» — на популярную экономическую тему, по которой много источников и студенческих работ. Для чистоты эксперимента сгенерированный текст мы вручную не редактировали. Все наполнение статьи — план, разделы и источники — придумывала нейросеть.

Всего мы сгенерировали 12 текстов, по два с использованием GPT-4, GPT-4o, GPT-4o mini, GPT o1-preview и GPT o1-mini, а еще два — тоже с GPT-4o, но с заданной ролью и пользовательскими инструкциями:

• GPT-4 — уже устаревшая модель от OpenAI, но современные сервисы проверок обучены преимущественно на более ранних — GPT-2 и GPT-3;
• GPT-4o — актуальная модель, доступная бесплатным пользователям с ограничениями и без лимитов по подписке ChatGPT Plus;
• GPT-4o mini — более легкая и быстрая версия GPT-4o, оптимальная для большинства повседневных задач. Она доступна всем пользователям без ограничений;
• GPT o1-preview — следующее поколение моделей, использует рассуждения шаг за шагом и решает сложные научные задачи. Доступна по подписке;
• GPT o1-mini — версия модели GPT o1, предназначенная для математических вычислений, анализа данных и написания кода, доступна по подписке.

Для каждой модели один текст мы сгенерировали на русском языке, а второй — на английском. Англоязычные тексты потом перевели через нейросетевой переводчик DeepL без дополнительной редактуры. Так мы сразу проверили популярный совет пользоваться связкой «англоязычный ChatGPT — переводчик» для обхода «Антиплагиата».

Еще одну пару статей сгенерировали в базовой GPT-4o с предварительно прописанными указаниями отвечать как эксперт в этой области, перепроверять данные, рассуждать шаг за шагом и сильнее учитывать контекст. Поскольку инструкции от пользователя влияют на ответ нейросети, хотелось проверить, достаточно ли их для обхода проверки.

Что у нас вышло. Все 12 сгенерированных текстов мы отправили на платную проверку «Антиплагиата». Оригинальность у всех текстов оказалась достаточно высокая: более 85%.

В среднем в российских вузах от выпускных квалификационных работ требуется уникальность на уровне 80—90%, а для рефератов и курсовых работ — и того меньше.

У них появилась отметка «Подозрительные». Причем система распознала и старую модель GPT-4, и новые GPT-4o и GPT o1-preview, и даже одну из версий переведенного текста. Пользовательский промпт тоже не помог: детектор на них все равно сработал.

Лучше всего проверку «Антиплагиата» проходят тексты, которые мы изначально сгенерировали на английском языке, а потом пропустили через переводчик.

По каждому материалу можно посмотреть отчет, какие именно подозрительные элементы нашел «Антиплагиат». Сервис выделил красным куски текста, которые посчитал сгенерированным — около половины в каждой статье.

Причем иногда это была первая половина, а иногда — вторая. Обнаружить какие-то закономерности не удалось, но текст в любом случае отмечался как подозрительный.

Преимущество ChatGPT в том, что сервис запоминает контекст диалога и может дальше работать с текстом, сгенерированным ранее. Поэтому мы решили доработать статью с помощью нейросети и посмотреть, как на это отреагирует «Антиплагиат».

Мы взяли части, которые «Антиплагиат» выделил красным, и попросили ChatGPT переписать их заново. Запрос был такой: «Перепиши этот текст так, чтобы он был оригинальным и проходил проверку сервисов, которые определяют, что текст сгенерировала нейросеть. Сделай его более читаемым».

Перегенерация не помогла. «Антиплагиат» снова выделил больше половины текста красным, а оригинальность упала на долю процента.

Тогда мы попробовали перегенерировать выделенные «Антиплагиатом» части с нуля, уточнить детали и написать текст так, как его написал бы студент российского вуза на четвертом курсе. Это немного увеличило оригинальность, но текст снова пометили как подозрительный.

Вероятно, если бы мы более вдумчиво подошли к написанию текста и отредактировали его самостоятельно, то смогли бы обойти плагиат. Либо можно с самого начала генерировать текст на английском языке, а затем пропускать его через переводчик.

Другим пользователям удалось обойти проверку «Антиплагиата». Александр Жадан, который написал диплом с помощью ChatGPT и прославился этим, тоже опробовал новую функцию «Антиплагиата». Он отправил на платную проверку девять страниц своего диплома. Сервис посчитал весь документ подозрительным и отметил, что три страницы сгенерированы в нейросетях. Затем Жадан попросил ChatGPT переписать текст, поменять структуру и сделать его более читаемым. В итоге «Антиплагиат» не нашел сгенерированные фрагменты.

В комментариях к треду Жадана предположили, что сервис проверки на нейросетевые тексты хуже работает с большими объемами. Пользователи считают, что он помечает красным простые предложения, которые многократно повторяются в интернете.

В «Антиплагиате» обратили внимание на тред Жадана и признали, что проверку сервиса можно обойти. В пресс-службе считают, что Жадану помогло редактирование текста: «Любое вмешательство человека в сгенерированный ИИ текст, конечно же, „очеловечивает“ его, позволяя обойти алгоритм распознавания». Для обхода «Антиплагиата» понадобилось значительное время на работу с чат-ботом, посчитали разработчики системы.

Пресс-служба «Антиплагиата» отметила, что ChatGPT хорошо пишет тексты, и дала советы по работе с нейросетями:

1. Перепроверять факты. ИИ выдумывает информацию, потому что пытается создать не корректный, а похожий на человеческий текст. Например, часто ChatGPT ссылается на несуществующие произведения.
2. Генерировать небольшие отрывки. У ИИ есть проблемы с логикой в больших текстах. Часто ChatGPT выдает не мысль, а просто набор фраз, поэтому текст перестает быть осмысленным. Контролировать логику позволяет генерация небольших частей текста.
3. Грамотно ставить задачу. ChatGPT не напишет диплом с нуля. Чтобы получить качественный текст, нужно четко ставить задачу, проверять текст на достоверность.

1. Если вы полностью сгенерировали научную работу в ChatGPT, скорее всего, «Антиплагиат» отметит текст как подозрительный.
2. Если вы полностью сгенерировали научную работу в ChatGPT на английском языке, а потом перевели на русский, «Антиплагиат» в большинстве случаев не отметит текст как подозрительный.
3. Если вы использовали ChatGPT для сбора и упорядочивания информации при написании научной работы, часть редактировали, а часть переписывали вручную, вероятнее всего, «Антиплагиат» не распознает сгенерированный текст.