Мы с мужем пытали ChatGPT задачами по Python и вопросами о деятелях культуры.
Я учусь в Италии на фалькутете истории искусств, прохожу онлайн-курсы по графическому дизайну и работаю с текстами. Муж — переводчик-синхронист, изучает на английском Data Science. Программа у него очень интенсивная, и многое приходится осваивать самостоятельно и чуть ли не с нуля.
В какой-то момент мы решили попробовать учиться с помощью ChatGPT. Для этого задали нейросети вопросы из разных областей знаний и оценили результаты. В ходе эксперимента использовали модель GPT-3.5, которая вышла в ноябре 2022 года. Расскажу, что у нас в итоге получилось.
Что такое ChatGPT
ChatGPT — чат-бот от компании OpenAI. Он умеет имитировать осознанный диалог с собеседником, учитывать контекст общения с ним, писать тексты, стихи, песни, код, придумывать сценарии, составлять сочинения и эссе для экзаменов.
В другой статье в Тинькофф Журнале уже подробно рассказывали, как им пользоваться и чем он отличается от других нейросетей.
Бесплатная версия ChatGPT работает на основе языковой модели GPT-3.5. Также есть платная версия за 20 $ ( 20 Р) в месяц, в которой доступна GPT-4 — продвинутая версия модели.
Если не получается зарегистрироваться самостоятельно, воспользуйтесь нашей инструкцией.
МАТЕМАТИКАРешать задачи по линейной алгебре
Что делаем: кидаем нейросети задачи на вычисление норм и скалярного произведения векторов.
Результат. Мы отправили ChatGPT пять задач. Она грамотно объяснила, как их решать, и неплохо справилась с вычислениями: неправильный ответ в итоге оказался только один.
Далее мы продолжили тестировать нейросеть и отправили ей ошибочные вычисления, назвав их верными: написали, что корень из 225 равен 14, а не 15. Сначала ChatGPT не согласилась с этим, но потом пала жертвой конформизма и пересчитала ответ с неправильными данными. Тогда мы написали, что корень из 225 равен 15 и нейросеть не права. В результате перед нами извинились и признали ошибку.
Выводы. ChatGPT хорошо знает учебник по линейной алгебре и может объяснять, как решать задачи. Но когда дело доходит до практики, периодически допускает ошибки в вычислениях.
После длительного общения с ChatGPT нам показалось, что все особенно плохо с решением систем линейных уравнений: нейросеть знакома с теоремой Гаусса, но совершенно не умеет ее использовать.
Порядок и уют за 5 коротких уроков
МАТЕМАТИКАРешать задачи по теории вероятности
Что делаем: кидаем нейросети условия задач по теории вероятности.
Результат. ChatGPT грамотно объясняла, как решать задачи, но цифры, которые она получала, почему-то не всегда оказывались верными. Например, как-то нейросеть дала ответ 4,95% вместо 9,8%. Спросили, уверена ли она в этих значениях, и получили результат 0,49%, который снова был некорректным.
Правильного варианта ответа удалось добиться после того, как мы сами на него указали. Для этого пришлось выполнить часть вычислений вручную на калькуляторе. Только тогда ChatGPT «перестроилась» и наконец-то посчитала все правильно.
Выводы. С абстрактными знаниями из учебника у ChatGPT все в порядке. Нейросеть подробно объясняет, как решать задачи по теории вероятностей, поэтому может пригодиться, если вы только начинаете в этом разбираться.
Другое дело, что с арифметикой у ChatGPT не очень. Она может допускать грубые ошибки и неграмотно их исправлять, давая разные ответы на одну и ту же задачу. Поэтому полностью принимать на веру решения нейросети не стоит — лучше всегда все пересчитывать.
ПРОГРАММИРОВАНИЕПисать запросы на SQL
Что делаем: пишем запросы в базу, составленную на основе данных с сайта о кино IMDb. Информация оттуда часто используется для изучения языка программирования SQL.
Результат. В одной из задач нужно было найти актера или актрису, которому принадлежит рекорд по количеству фильмов за год. ChatGPT выполнила все верно, но в ее решении была одна лишняя деталь. Указали на нее и получили оптимизированный код без ненужных данных.
Мы продолжили писать запросы и заметили, что в одном из ответов была новая синтаксическая конструкция — функция with. Попросили ее объяснить, и ChatGPT сделала это на отлично: понятно и в деталях. Сам код, сгенерированный нейросетью, тоже сработал прекрасно.
Выводы. В дальнейшем мы решили десятки других подобных задач, и ChatGPT справилась с ними практически идеально. Более того, нейросеть развернуто комментировала каждую строчку кода, а иногда даже делилась интересными деталями, например связанными с использованием синтаксиса в разных базах. Ставим пять с плюсом.
ПРОГРАММИРОВАНИЕПисать код на Python
Что делаем: просим ChatGPT решить базовую задачу — создать класс, аналогичный двухмерному массиву Numpy.
Результат. Задача состояла из восьми условий, которые нейросеть получала от нас постепенно. Каждый пункт расширял функциональность класса — для этого нужно было добавить в него новый метод.
ChatGPT добилась правильного и полного ответа уже после третьей итерации. Видимо, это произошло из-за того, что в коде задачи были тесты, которые проверяют уже готовую программу. Такие фрагменты помогли нейросети понять все условия еще в начале работы и быстрее выдать решение.
При этом ChatGPT не просто писала логичный и работающий код, но и хорошо объясняла каждую его деталь и функцию. В результате мы легко понимали, что к чему, а не слепо копировали готовый ответ.
Выводы. ChatGPT подходит для изучения Python. Она грамотно пишет код и хорошо подкована в теории, помогает разбираться в логике решения задач.
Объемную и сложную программу ChatGPT, конечно, не напишет. С другой стороны, можно попробовать последовательно объяснять нейросети архитектуру и функционал элементов — тогда она, скорее всего, поможет их достроить.
ВЕБ-ДИЗАЙНСравнивать сервисы для создания сайтов
Что делаем: подбираем оптимальное решение для создания сайта без знания кода. Вот как выглядят наши запросы пошагово:
- спрашиваем, какие вообще бывают инструменты для нашей задачи;
- конкретизируем запрос, отмечая, что хотим создавать креативные и визуально привлекательные сайты;
- просим сравнить цены и технические характеристики;
- уточняем информацию о конкретных вариантах.
Результат. Сначала СhatGPT выдала короткий список из самых популярных и незамысловатых вариантов вроде Wix и Wordpress.
После уточняющего запроса нейросеть выдала другую подборку, которая состояла из Webflow, Bubble и Carrd. Такой ответ нас устроил, и мы попросили уточнить стоимость этих вариантов и их технические характеристики. Проведя анализ, СhatGPT посоветовала остановиться на Carrd. У него оказалась самая доступная цена, неограниченная пропускная способность и безлимитное хранилище данных.
На всякий случай решили уточнить, почему нам не подходит Readymag. В ответ ChatGPT представила анализ этой площадки и посетовала, что она дороговата для наших целей. Кроме того, нейросеть стала описывать чудеса кастомизации в Wordpress и всячески убеждать, что он не очень-то и плох.
Тем не менее остановиться мы решили на Carrd и Bubble и поинтересовались, как работать с этими сервисами. Ответы и описания нейросети показались нам недостаточно конкретными, и мы попросили представить список обучающих материалов. В принципе он нас порадовал: там были и блоги, и туториалы на «Ютубе».
Напоследок мы попросили рассказать о недостатках и подводных камнях этих конструкторов. Новые ответы устроили нас меньше: ChatGPT поделилась общими фактами, а не инсайтами.
Выводы. Советы ChatGPT по выбору сервисов для создания сайтов оказались неплохими и сэкономили нам время. Но чтобы принять окончательное решение, нужно проанализировать больше нюансов и деталей.
ИНОСТРАННЫЕ ЯЗЫКИРедактировать текст на итальянском
Что делаем: просим нейросеть отредактировать введение к диплому на итальянском языке. Дополнительно акцентируем ее внимание на том, что текст должен быть грамматически корректным и изложенным в академическом стиле.
Результат. Перед тем как показать исходник ChatGPT, мы специально ухудшили текст: добавили немного воды, разговорные выражения, лишние запятые, в паре мест неправильно использовали время.
Наше введение было довольно объемным, и его пришлось отправлять частями по 500—1000 слов. Самый первый фрагмент нейросеть хорошо отредактировала, убрав воду и жаргон. Но тот текст было сложно назвать грамотным: с базовой грамматикой ChatGPT справилась неплохо, а вот с запятыми и временем у нее возникли проблемы.
В дальнейшем мы конкретизировали запрос и написали, что именно нужно исправлять. Это помогло, но буквально через два-три отрывка нейросеть стала возвращать не отредактированный текст, а его краткое содержание. Возможно, у ChatGPT слетели настройки и она начала забывать о том, что нужно делать, — поэтому о задаче приходилось постоянно напоминать.
Выводы. Формулировать мысли на иностранном языке не всегда легко, но ChatGPT с этим может помочь. Для этого лучше максимально точно прописывать запрос: не просто «отредактировать текст», а, например, «отредактировать текст, исправить грамматические ошибки и правильно расставить запятые».
В то же время нейросеть вряд ли сможет уловить тонкие лексические оттенки и грамматические нюансы. Поэтому стоит дополнительно поработать над текстом своими силами, а потом показать его носителям языка.
Кроме того, если вы трудитесь над чем-то объемным, рекомендуем набраться терпения: ChatGPT может «забыть» о задаче и запрос придется отправлять несколько раз. На этот случай полезно заранее подготовить текст для копипаста.
ИСТОРИЯ ИСКУССТВПолучать справочную информацию по искусствоведению
Что делаем: спрашиваем, что нейросеть знает о разных деятелях искусства.
Результат. Рассказывая об известных людях, ChatGPT показала себя с хорошей стороны. Например, в ответ на просьбу рассказать о Сандро Боттичелли мы получили вполне приличный и корректный текст, похожий на статью из Википедии. Наши запросы были и на русском, и на английском.
То же самое произошло после того, как мы продолжили эксперимент и запросили информацию о Пегги Гуггенхайм и Пабло Пикассо.
Ситуация изменилась, когда мы решили узнать у ChatGPT о советском искусствоведе Борисе Терновце. О нем известно не так много, и вся информация в основном хранится в архивах библиотек.
Сначала мы сделали запрос на русском, и результат был потрясающий: нейросеть сказала, что Борис Терновец родился не в 1884, а в 1977 году и является диджеем и продюсером, работавшим с Аллой Пугачевой. Мы пытались уточнять запрос и добавлять в него подробности: годы жизни и деятельности в музее, информацию о жене нашего героя и так далее. Но успеха это не принесло.
Тогда мы решили спросить ChatGPT о Терновце на английском. Новая информация, которой поделилась нейросеть, больше походила на правдивую, но в датах и событиях были ошибки.
Выводы. Для получения справочной информации об известных деятелях культуры ChatGPT вполне пригодна. Но если вам нужные редкие данные, которые бывают только в архивах, нейросеть может не справиться.
Видимо, так происходит из-за того, что ChatGPT не умеет гуглить, и ее обучали на определенной выборке данных — хоть и большой, но не всеобъемлющей. Если информации не хватает, нейросеть начинает чаще ошибаться и выдавать неверные сведения — такой феномен называется галлюцинациями.
На самом деле с ними можно столкнуться в любой момент — не только когда вы собираете информацию о советских искусствоведах, но и, скажем, спрашиваете что-то о том же Пикассо. По этой причине в OpenAI советуют проверять все ответы чат-бота.
ИСТОРИЯ ИСКУССТВПонимать термины из истории искусств
Что делаем: спрашиваем, что ChatGPT знает про социальную историю искусств — одну из методологий искусствознания двадцатого века, — и пытаемся развить диалог.
Результат. Базовую информацию о феномене, который нас интересовал, ChatGPT дала вполне корректную.
С точки зрения теории искусств все было изложено без вопиющих ошибок и даже напоминало материалы из научной базы данных JSTOR. Тем не менее в случае с ChatGPT говорить об одном источнике нельзя, ведь тексты нейросети — компиляция данных из разных архивов, загруженных в нее разработчиками.
Затем мы задали чат-боту дискуссионный вопрос про направления внутри этой концепции. Ответ ChatGPT получился спорным, и мы решили вступить с ней в дискуссию. Начали доказывать, что один из перечисленных подходов — отдельная самостоятельная область, а после того, как нейросеть с нами согласилась, попытались подловить ее на противоречии. В итоге ChatGPT сказала, что все сложно и междисциплинарно, и с этим было трудно поспорить.
Выводы. ChatGPT можно использовать, чтобы получать краткие определения основных терминов из истории искусств. Но когда речь заходит о сложных вещах, например о междисциплинарных подходах, нейросети доверять не стоит. Поэтому если вы занимаетесь серьезными научными исследованиями, надежнее обращаться в архивы и библиотеки.
Что мы поняли из этого эксперимента
Идеальным учителем сервис ChatGPT назвать трудно и, пожалуй, к лучшему. Нам он показался больше похожим на умного одногруппника, который в чем-то разбирается лучше, например обладает неплохими техническими скиллами, но в то же время где-то проседает.
Так, нейросеть может доходчиво и грамотно объяснять, как решать задачи по математике, но затрудняется применять теорию на практике. Так что все ответы ChatGPT нужно обязательно перепроверять.
То же касается получения информации на разные темы. ChatGPT хорошо объясняет базовые понятия и термины, но запросто может что-то «придумать» или переврать даты и факты.
Поэтому мы бы, скорее, отнесли эту нейросеть к неплохим дополнительным, но не основным инструментам для обучения. К тому же ее легко запутать, даже если просто пытаться найти ошибку. Порой это приводит к парадоксальным результатам, например ChatGPT может согласиться с тем, что 2 + 2 = 5.
И напоследок — стихотворение про небо, которое тоже сгенерировала нейросеть:
Новости из мира образования, советы по карьере и учебе, вдохновляющие истории — в нашем телеграм-канале: @t_obrazovanie
Получаешь диплом, а нейросети уже твою работу "оптимизировали"..
Sooka, но нейросети еще очень долго не смогут забрать доки из универа и спиться 😏
Ох, Анастасия, а что с вами будет, когда чатГПТ выдаст вам 10 источников по вашей теме по истории искусства, причем выдаст их с саммари, полной библиографией, даже DOI, а потом вы узнаете, что 3 из этих 10 нейросеть просто "выдумала". Журнал, к примеру, есть, а статьи в нем такой нет. И DOI невалидное. И про статью такую никто не знает. 😂🤣
Зато она прекрасно пишет на английском (не на итальянском или других языках) сопроводительные письма — пригодится для поиска работы в дальнейшем 🤷🏻♂️
Карина, о да. Кстати иногда вудумки были слишком грубые, например как-то попросил составить хронологию событий, которые произошли при Александре 3 и нейросеть выдала штук 20 событий в диапозоне 200 лет. Ни одно событие не было истинным, при этом регенерация не помогала. Страшно представить какие интересные знания принесут школотроны своим преподавателям)
Карина, именно поэтому мы несколько раз повторяем, что нужно перепроверять все, что выдает вам ChatGPT. Сама я в своей исследовательской работе никогда не опиралась на нейронную сеть, да и честно говоря не планирую, но любопытства ради на таком материале все же решили ее протестить)
Как человек, много работающий с текстами на английском в том числе (письмо, редактура, перевод), могу подтвердить, что ChatGPT правда молодец, но слепо доверять ему все равно не стоит)
В целом круто и сильно помогает по работе, но всё больше убеждаюсь что помощь не такая огромная как казалось в первые недели использования. Много нюансов, неточностей и ограничений.
Copilot со встроенным gpt4 очень хорош и иногда пугает своей проницательностью))
Знакомая писала работу по политологии. Были справочные материалы, учебники, но она решила воспользоваться только ChatGPT. Задала нейросети вопросы, на которые нужно было ответить, и за 5 минут получила очень достойную компиляцию достоверных и уместных фактов по теме. Получила твердую четвертку. Сама бы она искала эти данные гораздо дольше. Замечу, я сейчас не рассматриваю вопрос этичности использования таких функций, а только лишь рассуждаю о практичности
Какой смысл делать обзор на версию 3.5 если уже актуальна 4?
1, я так и не подобрал VPN для 4 версии. Приходится на 3,5 сидеть
Подрабатываю репетитором французского, с помощью чата составила предложения на лексику для перевода. Мне очень нравится
я за то, чтобы chat gpt развивался дальше - можно будет делегировать часть мелких задач: написать agenda, сделать перевод быстро, сжать несколько абзацев в один. Я использовала chat gpt, когда писала магистерскую, чтобы сделать сжатый обзор статей для теоретической части. Недавно смотрела тьюториал из серии how to use chat GPT during PhD - очень любопытно как дальше будет дообучаться технология.