Сбер запустил Kandinsky 2.1 — обновленную нейросеть, которая генерирует картинки по текстовым запросам.

Главная особенность сервиса в том, что он работает с русским языком. Можно описать изображение, задать стилистику, уточнить детали. В отличие от большинства аналогичных сервисов, Kandinsky 2.1 довольно хорошо понимает русскоязычные запросы и учитывает их при генерации.

Рассказываем, почему стоит обратить внимание на нейросеть, как она справляется с задачами и как показывает себя на фоне главного конкурента.

Что собой представляет Kandinsky 2.1

Kandinsky 2.1 — новое поколение одноименной нейросети для генерации картинок, которую Сбер запустил летом 2022 года. Модель сильно улучшили и обучили на 170 миллионах связок «текст-изображение». Kandinsky 2.1 содержит 3,3 миллиарда параметров, предыдущая Kandinsky 2.0 — только 2 миллиарда. Подробнее о техническом аспекте можно прочитать в блоге компании на «Хабре».

Принцип работы нейросети не отличается от конкурентов — она рисует изображения в разных стилях на основе текстового запроса. Но разработчики «Кандинского» заявляют о поддержке более 100 языков, в том числе и русского, чем не могут похвастаться англоязычные Midjourney или Dall-e 2. Это сильно выделяет сервис на фоне других, для работы с которыми россиянам требовалось знание английского языка или использование переводчика.

У нейросети от Сбера есть четыре основных режима работы:

  1. Генерация по тексту. Стандартная функция: необходимо написать текстовый запрос, а нейросеть нарисует по нему изображение.
  2. Смешивание изображений. Можно добавить две картинки и посмотреть на микс от нейросети.
  3. Вариации изображения. Если добавить уже готовую картинку или фото, а затем задать определенную стилистику, можно получить новое изображение.
  4. Дорисовка. Обычно этот режим называют outpainting. Можно взять фото или картинку, а затем попросить нейросеть дополнить ее — дорисовать оставшиеся за кадром детали.

Где попробовать нейросеть Kandinsky 2.1

Есть несколько способов:

  1. На сайте fusionbrain.ai — это тестовый сайт команды «Кандинского». Там можно генерировать на основе текста и использовать режим дорисовки.
  2. В официальном телеграм-боте — там доступны все четыре режима генерации.
  3. На сайте Rudalle — так называлась самая первая версия нейросети Сбера для генерации картинок.
  4. С помощью навыка «Включи художника» в голосовом помощнике «Салют» от Сбера.

Во всех четырех случаях нейросеть может не сработать. Регулярно появляются ошибки и на сайтах, и в телеграм-боте. Сбер объясняет это большой нагрузкой на сервис.

Как генерировать картинки в Kandinsky 2.1

Я пользовался двумя способами: телеграм-ботом и платформой fusionbrain.ai. Второе — полноценный сайт для генерации картинок. Есть область, вместо которой появится изображение, текстовое поле для запроса, а также выбор основных стилей.

Фиолетовый квадрат как раз и есть область генерации. Ее размеры можно изменять. Это не особенно полезно при стандартной генерации по тексту, но срабатывает при других режимах.

Я так и не понял, зачем нужна довольно сложная система с полем для будущей генерации картинки — оно постоянно сдвигается и мешает
Я так и не понял, зачем нужна довольно сложная система с полем для будущей генерации картинки — оно постоянно сдвигается и мешает

Сейчас стилей больше 20. Есть как привычные вроде киберпанка или аниме, так и новые для нейросетевых сервисов — советские мультфильмы, хохлома. В англоязычных приложениях традиционно проблемно сгенерировать что-то подобное, модели не обучены на таких картинках.

Вот полный список стилей:

  1. Аниме.
  2. Детальное фото.
  3. Киберпанк.
  4. Кандинский.
  5. Айвазовский.
  6. Малевич.
  7. Пикассо.
  8. Гончарова.
  9. Классицизм.
  10. Ренессанс.
  11. Картина маслом.
  12. Рисунок карандашом.
  13. Цифровая живопись.
  14. Средневековый стиль.
  15. Советский мультфильм.
  16. 3D-рендер.
  17. Мультфильм.
  18. Студийное фото.
  19. Портретное фото.
  20. Мозаика.
  21. Иконопись.
  22. Хохлома.
  23. Новый год.

По большей части стили работают хорошо. Но как раз «фирменные» оказались не очень похожи — создать советский мультфильм или хохлому не удалось. Впрочем, в текстовом запросе можно добавлять стилистику самостоятельно, если ее нет в списке. Для этого достаточно оставить галочку у пункта «Без стиля».

Все картинки генерируются в разрешении 768 × 768 точек. Большее разрешение выставить нельзя, хотя современные нейросети уже рисуют картинке качественнее.

Интересная функция — редактирование уже сгенерированного изображения. На готовой картинке можно воспользоваться инструментом «ластик» и закрасить им часть, которую нужно поменять. А затем снова нажать кнопку «Создать».

Так я несколько раз менял человека в красном пальто на улице киберпанковой Москвы. Нейросеть очень четко работала по контуру и не искажала остальное изображение. Это действительно полезный инструмент, которого не хватает многим сервисам.

Дорисовка тоже инструмент, который есть далеко не во всех сервисах. Работает это так: вы генерируете или загружаете картинку, а затем уменьшаете ее так, чтобы поле генерации было больше изображения. Потом дописываете текстовый запрос или выбираете стиль, после чего нейросеть будто дорисовывает картинку.

Я попробовал режим на примере Шрека — изобразил его в киберпанк-стиле. Сервис довольно неплохо дорисовал тело зеленого огра, сохранив его особенности и детали одежды. А вот лес на фоне оригинального кадра стал проблемой, в итоге он сильно выделяется на фоне типичного киберпанк-города.

Получился вот такой киберпанк-Шрек
Получился вот такой киберпанк-Шрек

Сравниваем Kandinsky 2.1 с Midjourney

При использовании Kandinsky 2.1 я неоднократно думал, что стилистически результаты напоминают мне популярную нейросеть Midjourney. Не пятое поколение, которое сделало ставку на реализм, а версии v3 и v4. Поэтому я решил напрямую сравнить сервисы. В случае с «Кандинским» запросы я составлял на русском языке, а затем переводил их на английский и использовал в Midjourney.

Вывод: Midjourney, конечно, генерирует картинки более высокого качества и лучше работает с деталями. Но Kandinsky 2.1 отстает не слишком сильно, особенно если не всматриваться в картинки. Стилистически он рисует похожие изображения. В чем плюс — нейросеть полностью бесплатная, в отличие от Midjourney.

Вот несколько примеров от двух нейросетей.

Генерировали картинки в нейросетях? Поделитесь своими результатами и расскажите, какой запрос использовали

Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult