GigaChat: что умеет нейросеть от Сбера и как ей пользоваться

Сбер в тестовом режиме запустил нейросеть GigaChat, которая генерирует текст и картинки.

Главная особенность бота в том, что он работает с русским языком. GigaChat может генерировать ответы на любые вопросы, а разработчики отмечают, что лучше всего у него получаются креативные тексты.

Рассказываем, как нейросеть справляется с задачами и как показывает себя на фоне главного конкурента — ChatGPT от компании OpenAI.

GigaChat — мультимодальная модель, которую Сбер анонсировал в конце апреля 2023 года. Она может отвечать на вопросы, вести диалог, писать код, придумывать планы презентаций, сочинять стихи, писать школьные эссе и выполнять другие текстовые задачи. Нейросеть отвечает как на русском, так и на английском языках.

На сайте Сбера говорится, что сильная сторона GigaChat — креатив. И интереснее всего использовать нейросеть, чтобы писать рекламные тексты, письма коллегам и рецепты блюд. При этом в ответах на вопросы, где требуются факты, она может ошибаться и галлюцинировать: разработчики называют такие ответы «творческими».

Текстовая часть GigaChat работает на языковых моделях ruGPT-3 и FRED-TP, основанной на архитектуре исследователей из Google. Первая вышла в 2021, а вторая — в 2023 году. По словам разработчиков, GigaChat обучена на 18 миллиардах параметров.

GigaChat также умеет генерировать картинки по текстовому описанию с помощью нейросетей ruCLIP и Kandinsky 2.1. Сервис создает изображения преимущественно по коротким запросам.

GigaChat находится в стадии бета-тестирования, причем доступ пока ограничен. Новости о раздаче инвайтов периодически публикуются в закрытом Телеграм-канале. С момента анонса приглашения протестировать бота получили около 40 тысяч пользователей. Авторы обещали дать доступ к нейросети всем подписчикам до 28 мая.

Я получила ссылку для регистрации 18 мая, когда ее разослали подписчикам Телеграм-бота @GigaChat_Test_bot. Если вы получили ссылку, то сможете воспользоваться GigaChat из любого браузера в личном пространстве на сайте developers.sber.ru. Чтобы туда попасть, требуется регистрация через Sber ID или Google-почту. Приложения для смартфонов у GigaChat нет.

Интерфейс у GigaChat похож на ChatGPT — это текстовый чат с возможностью создавать несколько диалогов. Во время разговора нейросеть может использовать информацию из предыдущих запросов, чтобы делать уточнения и корректировать ответы.

Мы протестировали нейросеть в разных сценариях.

Простые поисковые запросы. Текстовые нейросети часто используют вместо поисковика, чтобы получить быстрый ответ на несложный вопрос, а не переходить по разным ссылкам. GigaChat с этим справляется далеко не во всех случаях.

Нейросеть может хорошо объяснить базовые концепции и понятия, которые никак не привязаны к актуальным событиям. Например, растолковать какое-нибудь физическое явление. Но GigaChat непостоянна — по одному и тому же запросу может расписать как огромный текст на несколько абзацев, так и короткую фразу в одно предложение.

К тому же с GigaChat нужно проверять факты. Но это касается любой языковой нейросети, включая ChatGPT. На этом этапе развития они время от времени галлюцинируют — уверенно выдают абсолютно неверную информацию.

Мы задали GigaChat более узкоспециализированные вопросы: «Что такое Skyrim», «Кто такой Хидео Кодзима» и «Сколько лет Илону Маску».

Во всех ответах нейросеть ошиблась и начала галлюцинировать, то есть выдумывать информацию на ходу. Бесплатная версия ChatGPT на аналогичные вопросы ответила верно.

Судя по всему, у нейросети нет доступа к актуальной информации — как и у ChatGPT, база данных которой ограничена 2021 годом. Но какой датой ограничена GigaChat, мы не знаем. Хотя на некоторые вопросы о событиях 2022 года она ответила верно и без искажений.

Если попытаться спросить, какой сегодня день, GigaChat каждый раз выдумывает новую дату, причем дни недели ей не соответствуют.

Код. На главной странице GigaChat есть пример того, как нейросеть пишет код на Python. Мы попросили код попроще — html-страницу синего цвета с надписью «Привет» посередине и актуальной датой.

Бот сгенерировал код без цвета, не отцентровал надпись и в целом допустил много грубых ошибок. Бесплатная ChatGPT на такой же запрос написала код без ошибок.

Генерация картинок. Преимущество GigaChat, которого нет у ChatGPT — в чат-боте можно сгенерировать картинки. В этом случае используется нейросеть Kandinsky 2.1, ее тоже сделал Сбер.

Картинки получаются хорошие, их можно на ходу править уточняющими запросами. Кроме того, Kandinsky лучше других нейросетей понимает запросы на русском языке. Ближайшим конкурентом, Midjourney, придется пользоваться на английском.

Школьные задачи. Домашнюю работу с помощью GigaChat пока сделать не получится: нейросеть плохо ведет подсчеты и приходит к неправильным ответам. Она неверно учитывает логику действий и часто отвечает совсем не на тот вопрос, который был задан.

Причем во время наших тестов мы попытались исправить нейросеть и указать ей на уход от ответа. Но она все равно настаивала на своем. Бесплатная ChatGPT такие же задачи решила правильно.

Прогулка по городу. Мы попросили составить маршрут прогулки по Красноярску: он получился реалистичный, но довольно короткий, если закрыть глаза на вымышленное заведение на набережной. Пройти по маршруту можно за несколько часов.

А вот с уточнениями GigaChat вообще не справилась: предложила семь раз поесть в разных местах, хотя ее просили добавить три заведения и расширить прогулку. По такому же запросу бесплатная ChatGPT составила более длинный маршрут, но выдумала названия ресторанов и двух локаций.

Сценарий. Разработчики говорят, что с креативом нейросеть справляется лучше, чем с фактами. Мы попросили придумать сценарий к серии «Губки Боба», но GigaChat как будто не учла того, что персонажи живут в подводном мире.

В итоге получился абсурдный сценарий, не соответствующий настроению шоу или характерам персонажей. ChatGPT по аналогичному запросу сгенерировала сюжет, учитывающий лор шоу и даже разбила серию на три акта.

Стихи. Мы попросили у GigaChat придумать стих про абсурдный концепт в стилях разных российских поэтов. Нейросеть справилась только с Маяковским, но не с первого раза. Сначала она просто скопировала его реальное стихотворение от и до. Со второй попытки получилось, когда градус абсурда увеличили.

На просьбу придумать стих в духе Пушкина, она выдала его стихотворение «К ***». А на запрос воссоздать стиль Бродского почему-то скопировала стих Есенина. Бесплатная ChatGPT придумала все стихи с нуля, но они не всегда соответствовали стилям поэтов, часто в них не было рифмы.

Рецепты. Мы спросили у GigaChat, как готовить карбонару. Она добавила в список ингредиентов панчетту, но не упомянула ее в самом рецепте. На просьбу уточнить этот момент, нейросеть сказала, что панчетту можно добавить уже в готовое блюдо, хотя это сырая грудинка, которую всегда обжаривают. Даже после нескольких попыток исправить рецепт все равно не получилось — панчетта в нем так и не появилась.

Кроме того, GigaChat порекомендовала одновременно использовать и сливки, и соус из яиц, пармезана и воды от пасты. Во всех известных рецептах карбонары рекомендуют либо первое, либо второе. Совет взбить яйца в блендере тоже сомнительный: кремовый соус из взбитых в пену яиц не получится. Как минимум карбонара по версии GigaChat вышла бы невкусной. ChatGPT предложила классический рецепт, для которого следует обжаривать панчетту, а сливки добавлять не нужно.

Отыгрыш роли. GigaChat справилась с образом российского бандита из 90-х, но манеру речи знаменитости и поп-культурного персонажа изобразить не смогла.

Даже после уточнений и дополнительного описания Илона Маска, нейросеть не сумела войти в образ и генерировала стилистически нейтральный текст. Бесплатная ChatGPT тоже с трудом справляется с ролями известных персонажей.

✅ Качественная работа с русским языком. Нейросеть обучалась на русскоязычных материалах, поэтому ответы выглядят более естественными, чем у ChatGPT. Результаты последней чаще всего похожи на автоматический перевод с английского.

✅ Есть «память». GigaChat запоминает детали разговора и может строить ответы, основываясь на информации, которую ей уже сообщил пользователь. Хотя нейросеть запоминает ответы, она плохо реагирует на исправления. Если усомниться в словах GigaChat, нейросеть либо отказывается исправлять ответы, либо меняет их на другие галлюцинации.

✅ Доступна генерация картинок. Запросы можно делать на русском языке, а изображения получаются хорошего качества. Аналогичных бесплатных сервисов не существует.

✅ Просто пользоваться в России. Не нужно регистрироваться с иностранного номера, искать иностранную карту для оплаты подписки и пользоваться VPN.

⛔️ Нет данных об актуальной информации. Неизвестно на базе данных каких лет нейросеть обучалась. Когда GigaChat пытается ответить на вопрос о недавних событиях, она перемешивает реальные факты с галлюцинациями.

⛔️ Непредсказуемый формат ответов. Может написать как короткое сообщение в два предложения, так и огромный текст на пять абзацев. Причем нейросеть по-разному реагирует на одинаковые запросы.

⛔️ Креатив достаточно посредственный. Нейросеть не всегда может сгенерировать творческие тексты с нуля или изобразить популярного персонажа. Судя по всему, в датасете не было многих популярных стилистик.

⛔️ Текстовая генерация ощущается устаревшей. Практически во всех задачах бесплатная ChatGPT, работающая на версии GPT-3.5, превосходит GigaChat. Ответы нейросети больше напоминают результаты генерации GPT-3.