Нейросеть Midjourney генерирует кадры из несуществующих фильмов: как сделать такое самому

Для тех, кто хочет увидеть «Дюну» Ходоровски или «Человека-паука» Тарковского

7
Нейросеть Midjourney генерирует кадры из несуществующих фильмов: как сделать такое самому

В сети появилось множество работ нейросети, которая представляет, как выглядели бы известные фильмы, если бы их снимали другие режиссеры.

Четвертая версия нейросети Midjourney, вышедшая в середине ноября, добавила новые сценарии использования. Один из них — возможность достаточно реалистично генерировать кадры из фильмов. Причем фильмов, которых на самом деле никогда не существовало: пользователи комбинируют картины, режиссеров и эпохи, редактируют культовые сцены и меняют актеров на главных ролях.

Итогом стали работы, которые расходятся по соцсетям: от «Мстителей» Уэса Андерсона до «Чужого» Хаяо Миядзаки. Некоторые энтузиасты с помощью нейросетей показывают кадры из фильмов, которые планировались, но так никогда и не были сняты. Например, «Дюну» от Алехандро Ходоровски или «Гарри Поттера» Терри Гиллиама.

Я разобрался, как просто сгенерировать собственные кадры из фильма, и рассказываю с примерами, которые сделал сам и нашел в тематическом сообществе на Reddit.

Введение в Midjourney: как пользоваться нейросетью

Midjourney — нейросеть, которая генерирует картинки по текстовому описанию. Мы уже подробно рассказывали о сервисе в отдельном материале, но проговорим еще раз принципы.

Это самая доступная нейросеть из конкурентов. К Dall-E нет публичного доступа, а для запуска Stable Diffusion нужен хороший компьютер. Вся работа с Midjourney же происходит в мессенджере Discord: достаточно скачать приложение и вступить в сообщество нейросети.

Там ищите каналы Newcomer Rooms, внутри которых — сотни чатов Newbies. Вместе с вами картинки будут генерировать тысячи пользователей.

Чтобы нейросеть сгенерировала изображение, нужно ввести команду /imagine в одном из чатов Newbies и придумать запрос. Описание желаемой картинки необходимо сформулировать на английском языке. Когда придумаете запрос, нажмите кнопку «Отправить». Бот начнет генерировать изображение. Вы буквально в прямом эфире увидите, как смутные очертания превращаются в четыре картинки.

Уже после генерации можно улучшить качество одной из картинок — кнопки U1, U2, U3 и U4 — или сделать новые вариации конкретного результата кнопками V1, V2, V3 и V4. Источник: канал Newcome Room в Discord
Уже после генерации можно улучшить качество одной из картинок — кнопки U1, U2, U3 и U4 — или сделать новые вариации конкретного результата кнопками V1, V2, V3 и V4. Источник: канал Newcome Room в Discord

В Midjourney огромное количество настроек и стилей: можно создавать не только кадры из фильмов, но и арты, реалистичные фотографии, 3D-модели, редактировать собственные фото. О некоторых способах мы тоже уже писали отдельно: например, как сделать нейроаватарку в любом стиле.

В бесплатной версии нейросети 25 попыток. Попытка тратится и на полноценный запрос, и на апскейл конкретной картинки. Ограничения можно убрать, заплатив за подписку. Преимуществ у платной версии достаточно: безлимитная генерация, повышенное качество, возможность создавать картинки в приватном канале. Безлимит на месяц стоит 30 долларов, но заплатить российской банковской картой нельзя.

Второй способ увеличить количество попыток — заново создавать аккаунты в Discord после каждого окончания пробной версии. Но есть риск получить бан на платформе.

Обычно пользователи Midjourney сначала экспериментируют с простыми сценариями: придумывают несложные запросы, скрещивают картинки-референсы без дополнительного описания. Создание кадров из фильмов — уже более сложный и комплексный процесс. Но при правильном подходе результаты работы нейросети впечатляют.

Как составить запрос и сгенерировать фильм

Убедитесь, что пользуетесь последней версией Midjourney. В Discord введите команду /settings и проверьте, чтобы была активирована настройка MJ version 4. Или просто пропишите в конце запроса --v 4.

Заодно советую подписать параметр --q 2, он улучшает качество генерации.

«Звездные войны» Уэса Андерсона. Источник: reddit.com
«Звездные войны» Уэса Андерсона. Источник: reddit.com
«Звездные войны» Уэса Андерсона. Источник: reddit.com
«Звездные войны» Уэса Андерсона. Источник: reddit.com
«Звездные войны» Уэса Андерсона. Источник: reddit.com

Используйте запрос для конкретных кадров фильма. Сообщество Midjourney всегда начинает формулировку со слов DVD screengrab. На это есть две причины. Во-первых, если писать просто название фильма, то нейросеть часто генерирует его постер, а не конкретные кадры. Во-вторых, в попытках сделать скриншот из DVD-издания Midjourney по умолчанию делает картинки реалистичными, а не артами.

С DVD screengrab есть одна главная проблема: периодически алгоритм понимает просьбу уж слишком прямо и рисует экран телевизора. В таком случае лучше запустить генерацию заново или поменять дополнительные параметры.

Добавление DVD screengrab сильно поменяло, как нейросеть видит просьбу нарисовать «Охотников за привидениями». Женя Кузьмин / Midjourney
Добавление DVD screengrab сильно поменяло, как нейросеть видит просьбу нарисовать «Охотников за привидениями». Женя Кузьмин / Midjourney

Выбирайте фильмы и режиссеров с ярким стилем. Качество генерации будет напрямую зависеть от того, насколько хорошо нейросеть справляется с конкретным автором или картиной.

Midjourney в первую очередь тренировалась на работах художников, поэтому мы не знаем наверняка, насколько хорошо нейросеть узнает стили режиссеров. Так что приходится экспериментировать. Что точно понятно с фильмами, так это то, что лучше выбирать картины с узнаваемыми поп-культурными образами либо с фирменной эстетикой и дизайном. «Мстители», «Матрица», «Терминатор», «Чужой», «Звездные войны», «Отель Гранд Будапешт», «Трон» — отличные отправные точки.

С режиссерами сложнее. Приведу некоторые из опробованных мной референсов, которые точно работают.

Хаяо Миядзаки — для узнаваемой стилистики японской анимации. На самом деле лучше подойдет даже не его имя в запросе, а указание directed by Studio Ghibli.

«Солнцестояние» от студии Гибли. Источник: Reddit
«Солнцестояние» от студии Гибли. Источник: Reddit
«Солнцестояние» от студии Гибли. Источник: Reddit
«Солнцестояние» от студии Гибли. Источник: Reddit

Тим Бертон — привнести немного готики. По умолчанию имя режиссера добавляет мрачности, но можно уточнить и выбрать, к примеру, «Чарли и шоколадная фабрика» в качестве референса.

Андрей Тарковский — в целом Midjourney не очень хорошо справляется с российскими и советскими режиссерами. Но Тарковский тут стоит особняком: особенно интересно выглядит сочетание его стиля с современным кино.

«Человек-паук» Тарковского. Источник: Женя Кузьмин / Midjourney
«Человек-паук» Тарковского. Источник: Женя Кузьмин / Midjourney
«Человек-паук» Тарковского. Источник: Женя Кузьмин / Midjourney
«Человек-паук» Тарковского. Источник: Женя Кузьмин / Midjourney

Уэс Андерсон — Midjourney очень охотно передает характерные черты визуального языка режиссера: пастельные тона, симметрию, расположение персонажей по центру. Стилистику можно использовать буквально с любым фильмом.

Алехандро Ходоровски — для тех, кто давно хотел увидеть «Дюну» от легендарного чилийского режиссера. Это был грандиозный проект с участием Сальвадора Дали, Мика Джаггера и Pink Floyd, который отменили после нескольких лет подготовки к съемкам. Остались только концепт-арты картины, которую провозгласили «величайшим неснятым фильмом».

Так выглядит «Дюна» Ходоровски глазами нейросети. Источник: reddit.com
Так выглядит «Дюна» Ходоровски глазами нейросети. Источник: reddit.com
Так выглядит «Дюна» Ходоровски глазами нейросети. Источник: reddit.com
Так выглядит «Дюна» Ходоровски глазами нейросети. Источник: reddit.com

Подберите описание конкретных сцен. Запрос «Кадр из DVD-издания Властелин Колец» неплох, но дает нейросети уж слишком много свободы. Так больше шансов, что вы не получите желаемого результата. А вот запрос «Сцена из DVD-издания Властелин Колец, где Арагорн, Леголас и Гимли бегут по зеленому полю за орками» сработает гораздо точнее.

Если вы не владеете английским языком в достаточной степени, чтобы описать сцену, воспользуйтесь переводчиком. Советую сервис DeepL — он качественно переводит тексты с русского языка при помощи нейросетей.

Пользователь Reddit перепридумал фильм 1985 года «Возвращение в страну Оз», сделав его гораздо мрачнее с помощью детально прописанных сцен. Источник: lmgur.com
Пользователь Reddit перепридумал фильм 1985 года «Возвращение в страну Оз», сделав его гораздо мрачнее с помощью детально прописанных сцен. Источник: lmgur.com
Пользователь Reddit перепридумал фильм 1985 года «Возвращение в страну Оз», сделав его гораздо мрачнее с помощью детально прописанных сцен. Источник: lmgur.com
Пользователь Reddit перепридумал фильм 1985 года «Возвращение в страну Оз», сделав его гораздо мрачнее с помощью детально прописанных сцен. Источник: lmgur.com
Пользователь Reddit перепридумал фильм 1985 года «Возвращение в страну Оз», сделав его гораздо мрачнее с помощью детально прописанных сцен. Источник: lmgur.com

Если не получается описание — используйте картинки-референсы. Они помогут добиться максимальной передачи конкретной сцены фильма, которую вы хотите переделать. Или подобрать на главную роль нужного актера. Можно сколько угодно прописывать «Сцена из Матрицы, где Нео останавливает летящие пули». Но действительно проще отправить картинку и дописать текстом, что именно в ней поменять.

Как работать с картинками-референсами, мы подробно рассказывали в другом материале. Повторю инструкцию:

  1. Либо найдите подходящую картинку в открытом доступе в сети, либо загрузите ее сами на фотохостинг. Просто загрузить картинку в Discord не выйдет.
  2. Скопируйте ссылку и вставьте ее после ввода команды /imagine в поле Prompt.
  3. Допишите дополнительные параметры: в какой стилистике изменить картинку, что добавить. Можно экспериментировать, но не забывайте про ограниченные бесплатные попытки.
  4. При желании можно вставлять сразу несколько картинок-референсов. В этом случае Midjourney объединит их в равных пропорциях. Но нельзя сильно повлиять на то, что именно нейросеть позаимствует из каждой картинки.

Настройте пропорции картинки. По умолчанию генерируются квадратные в пропорциях 1:1. Но можно добавить к запросу --ar 3:2, тогда картинки будут еще больше напоминать реальные кадры из кино.

Какие запросы должны получиться в итоге

Ниже — реальные запросы к Midjourney от пользователей Reddit, которыми они поделились с сообществом. Можно использовать их как шаблоны: оставлять структуру, но менять фильмы, годы, описания сцен и режиссеров.

Пример простого запроса для случайного кадра из фильма: DVD screengrab from the movie Return of The Jedi, 1983 --ar 3:2 --v 4.

Пример запроса для генерации сцены из фильма со стилистикой другого фильма или режиссера: DVD screengrab of the [описание сцены] scene from the Star Wars movie directed by Alejandro Jodorowsky, 1975 --ar 3:2 --q 2 --v 4.

Пример простого тегового запроса: DVD screengrab, The Alien movie, 1989 Studio Ghibli anime movie style --ar 3:2 --q 2 --v 4.

Пример сложного тегового запроса: DVD screengrab, 1989 Studio Ghibli anime movie, World War 2, [подробное описание сцены] --ar 3:2 --q 2 --v 4.

Генерировали картинки в нейросетях? Поделитесь своими результатами и расскажите, какой запрос использовали

Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult.

Евгений Кузьмин
Комбинацию какого фильма с каким режиссером хотели бы увидеть? Некоторые варианты поможем сгенерировать в комментариях:
Комментарии проходят модерацию по правилам журнала
Загрузка
0

Сначала подумал про «Винни-Пух» Тарковского, потом вспомнил, что у нас уже есть «Винни-Пух» Тарковского дома

2
0

А не было "Один дома" + Дэвид Линч?

0
0

Покемон

0
0

Добрый день. "Парк юрского периода"( любой) и " Любовь и голуби". Наверное, забавно бы вышло.

0
0

DVD screengrab of the film Kill Bill - 2 directed directed by Sergei Bondarchuk - -q2 —v4

0

Сообщество