Как распознать текст, написанный нейросетью ChatGPT?

В теории отличить текст, написанный нейросетью, возможно. Исследователи уже несколько лет занимаются тем, что выявляют паттерны ИИ-текста — находят повторяющиеся слова и закономерности в строении предложений и их средней длине.

Но проблема в том, что языковые модели развиваются быстрее, чем их раскусывают. Еще четыре года назад нейросети не могли нормально связать и трех предложений подряд, а теперь выдают логичные тексты. Поэтому способы определить ИИ-текст быстро устаревают.

ChatGPT — это чат-бот от компании OpenAI, основанный на новейшей версии языковой модели GPT. В январе 2023 года это модель GPT-3,5. В другой статье в Тинькофф Журнале мы уже подробно рассказывали, как он работает и чем отличается от других нейросетей. Сейчас ChatGPT уже умеет имитировать осознанный диалог с собеседником, учитывать контекст, общаясь с ним, писать тексты, стихи, песни, код, придумывать сценарии, составлять сочинения и эссе для экзаменов.

В конце 2022 года популярностью ChatGPT особенно обеспокоились американские учителя: ученики принялись сдавать им сгенерированные работы. В некоторых школах даже стали блокировать доступ к чат-боту. Российские школьники, по данным СМИ, тоже используют ChatGPT для домашних заданий. Но пока модель не так хорошо справляется с русским языком.

Нейросеть пишет слишком конкретно. Например, исследователи из Google Brain еще в 2019 году пришли к выводу, что ИИ слишком часто использует артикль the, потому что работает на предсказание следующего слова в предложении. Но понятно, что этот признак присущ только англоязычным текстам.

ChatGPT уже используют как замену поисковым системам, поскольку она дает вполне конкретные ответы. Но с рассуждениями дела у нее обстоят хуже: на вопросы вроде «Что такое любовь?» ИИ выдаст сухую формулировку, а не попытку проанализировать сложное чувство.

Также нейросеть может очень уверенно написать абсолютную неправду. Сомневаться ей не свойственно.

Нейросеть опускает контекст и персонализацию текста. ChatGPT не сможет передать опыт конкретного человека — только попытаться имитировать опыт миллионов людей, на чьих текстах обучена модель. Но таким материалам обычно не хватает глубины и авторского ощущения: одно дело — написать шаблонное сочинение по литературному произведению, и другое — рассказать, как ты провел лето.

С экспертностью то же самое. Многие тексты ChatGPT достаточно полезны, но в них нет углубления в тему. Это может сделать только человек с богатым личным опытом.

При этом новая версия языковой модели гораздо лучше работает с контекстом, чем ее предшественники. Поэтому теоретически уже после генерации можно попросить ChatGPT подредактировать текст и сделать его «более человеческим».

Нейросеть не допускает ошибок. В Google Brain отмечают: люди чаще указывают, что логичный текст без ошибок написал человек. Хотя идеальная грамотность как раз больше присуща ИИ: люди не там ставят запятые, опечатываются, используют сленг и сокращения. Такого уровня имитации нейросети пока не достигли.

С сервисами есть две проблемы. Первая — та же, что и с самостоятельным выявлением ИИ-текста: алгоритмы натренированы на устаревшей GPT-2, которая вышла в 2019 году. Но за три года модель стала в разы сложнее.

Вторая проблема в том, что многие сервисы или вообще не работают с русским языком, или плохо с ним справляются и из-за этого не могут правильно определить авторство текста.

Новых сервисов еще предстоит дождаться, но я расскажу про несколько пока рабочих вариантов. Чтобы их протестировать, я использовал три материала. Первый я сгенерировал на английском языке, второй — на русском, а третий написал мой коллега без помощи ИИ.

GPT-2 Output Detector — это инструмент, который в 2019 году сделала компания OpenAI, разработчик ChatGPT. У него есть простая бесплатная демоверсия. Достаточно загрузить текст на сайт, и алгоритм ответит, какова вероятность, что его сгенерировала нейросеть.

С английским языком у сервиса не возникло никаких проблем — он показал, что мой тестовый текст с вероятностью 99,98% написал ИИ, а не человек. С ИИ-текстом на русском уверенности было меньше — 75%. Текст от моего коллеги он тоже отнес к нейросетевым. Правда, после загрузки другого фрагмента исправился.

GLTR — это сервис исследователей из Гарварда и компании IBM. Он тоже создан для работы с моделью GPT-2, но уже в 2019 году нередко ей проигрывал — угадывал нейросеть в 66% случаев. С другой стороны, и с более продвинутой GPT-3 сервис справлялся на сопоставимом уровне.

Инструмент смотрит на предсказуемость каждого следующего слова в тексте. Работает это так: если попросить дополнить предложение «Как же мне не хочется каждый понедельник с утра идти на…», то очевидным завершением будет «…работу». Другие варианты вроде «…учебу» тоже предсказуемы. Написать так может и человек, но если весь текст воспроизводит предсказуемые шаблоны, то велика вероятность работы ИИ.

Так и вышло с моим сгенерированным материалом на английском языке — GLTR указал, что его написала нейросеть. Но русский язык сервис, к сожалению, не распознает.

GPTZero Classic — сервис 22-летнего американского студента Эдварда Тиана. Он сделал его в январе 2023 года, и инструмент сразу же обрел популярность. В разработке уже продвинутая платная версия GPTZero, но я пользовался бесплатной классической.

Сервис анализирует текст по двум параметрам:

1. Perplexity считает предсказуемость текста: люди пишут сложнее и используют менее очевидные сочетания слов.
2. Perplexity оценивает структуру и длину предложений.

Понять итоговые оценки сложно, так что после анализа можно пролистать страницу вниз и нажать «Получить результаты».

В моем случае GPTZero верно оценил авторство текста на английском языке, но с русским не справился — выдал ошибку. В соцсетях пишут, что GPTZero легко обмануть, но с базовыми материалами он справится.

ChatGPT — это вариант победить врага его же оружием. Скиньте самой продвинутой нейросети кусок текста и спросите, написал ли его ИИ. Учитывая, что ChatGPT запоминает предыдущие сообщения и остается в контексте диалога, задайте дополнительные вопросы, как чат-бот пришел к своему выводу.

В моем случае нейросеть отлично справилась с материалом, который сама же и сгенерировала. Заодно рассказала, что в тексте приведена слишком базовая и распространенная в сети информация. А вот сгенерированный текст на русском языке ChatGPT принял за человеческий.

Крупные платформы внедрят собственные системы проверки ИИ-текстов. Подобные решения уже анонсировали платформа для авторов Medium и ресурс для программистов Stack Overflow. Можно ожидать, что в будущем такие сервисы будут у всех крупных соцсетей и платформ.

У сгенерированных текстов появятся вотермарки. Эту технологию уже разрабатывают в OpenAI. По словам сотрудника компании Скотта Ааронсона, у сгенерированных через GPT текстов будет скрытый криптографический сигнал, который поможет быстро определить авторство. Как именно это будет выглядеть и работать, пока неизвестно. Но в блоге Ааронсон написал, что доступ к ключу будет только у разработчиков GPT.