Как бесплатно генерировать видео и оживлять фото в нейросети Luma AI

Компания Luma AI представила сервис Dream Machine, который генерирует 5-секундные ролики по текстовому запросу.

Модель создает видео, сравнимое по качеству с генерациями Sora — самой продвинутой нейросети из имеющихся. Вот только попробовать сервис от компании OpenAI пока что нельзя, а Luma AI уже доступна всем. В месяц можно бесплатно создавать ограниченное количество роликов.

Долгое время модели для генерации видео работали не очень качественно. Они создавали видеоряд на той же архитектуре, что и нейросервисы для статичных картинок. Обычное изображение для ИИ уже не проблема. А вот сгенерировать множество кадров, да и еще правильно согласовать их между собой, — задача гораздо сложнее.

Из-за этого даже короткие ролики распадались на артефакты, объекты постоянно менялись, будто бы каждую секунду их перерисовывали заново. При создании Sora в Open AI нашли новый подход: нейросеть не только генерирует последовательность картинок, но и строит модель мира, учится понимать физику и движение объектов. Благодаря этому видеоряд получается стабильным и естественным.

Dream Machine от Luma AI — эта одна из первых нейросетей для генерации видео на такой же архитектуре, которую можно попробовать самому. Она создает реалистичные ролики, которые выглядят качественнее, чем у конкурентов — Runway Gen-2 или Pika. Картинка не дергается, а герои видео не морфятся  .

При этом разработчики подтвердили, что у нейросети есть ряд ограничений. Luma AI не может генерировать качественный текст — он будет с ошибками или вообще нечитаемым. Она ошибается в движениях: например, собака, которая должна бежать, может полететь. А еще искажает и деформирует объекты. Но такие же ограничения есть и у Sora.

Пользоваться сервисом можно из России без ограничений. Процесс максимально простой, никакие настройки выставлять не нужно. Вот как сгенерировать видео.

Шаг 1. Перейдите на сайт Luma AI, нажмите Try Now и войдите через гугл-аккаунт. Появится строка для ввода запроса.

Шаг 2. Выберите, как будете генерировать: только по текстовому запросу или по картинке и текстовому запросу. В первом случае напишите на английском языке, что хотите увидеть. Если не знаете английского, воспользуйтесь переводчиком DeepL. Он лучше, чем конкуренты, переводит с русского на английский, сохраняя контекст.

Вот что рекомендует команда Luma AI при генерации по текстовому запросу:

1. Поставьте галочку Enhance Prompt и напишите простой промпт, где будет указан объект и действие. Например, teddy bear in sunglasses playing electric guitar. Функция Enhance Prompt отвечает за то, чтобы расширить и переписать запрос, сделать его более детальным. Итоговый промпт вы не увидите.
2. Если с Enhance Prompt не получается добиться желаемого результата, уберите галочку и сами напишите подробное описание сцены и действия. Оно должно состоять из трех-четырех предложений. Например, in a somber, nostalgic style, a young man sits on a tree stump in a forest, the warm autumn leaves surrounding him. He wears a brown jacket, dark shirt, and blue jeans, his fingers deftly moving along the fretboard of an acoustic guitar.
3. Для лучших результатов указывайте движение камеры — a dramatic zoom in, описывайте объект — a white teddy bear wearing sunglasses with soft fur texture, действие — a teddy bear swimming with its arms and feet as the turbulent water splashes all around, фон — a beautiful cloudy sunset near a Caribbean beach.

Если хотите генерировать по текстовому запросу и картинке, нажмите на иконку с изображением и загрузите файл в формате JPG, JPEG или PNG. Он может быть любым. Но лучше всего работают генерации с фото, где только один объект в центре. После этого напишите текстовый запрос. Вот что рекомендует команда Luma AI:

1. С активной галочкой Enhance Prompt опишите, что хотите видеть в сцене. Например, если вы загрузили изображение автомобиля, то напишите a red car driving on a road.
2. Особенно полезно будет описать тип движения — walk, talk, drive, dance и так далее.
3. Если с Enhance Prompt не получается добиться желаемого результата, снимите галочку и подробно опишите объект с картинки и его действия.
4. Без Enhance Prompt объекты могут практически не двигаться. В таком случае добавляйте больше слов, описывающих действия.
5. В любом случае важно указать, какие действия совершает объект и как должны двигаться разные детали в сцене. Например, a woman dancing ballet, her arms gracefully extending upward as she twirls around, the dancers behind her bowing low to the ground.

На Reddit говорят, что в запрос стоит добавлять много описаний стилистики, в том числе повторяющихся. Например, movie, shot on film, grain, 35 mm. Так можно добиться лучших результатов.

Шаг 3. Нажмите на кнопку генерации. Обычно процесс занимает 120 секунд. Если на сайте очередь, время ожидания может увеличиться до получаса и более. Узнать о том, что вы встали в очередь, можно по надписи In queue на карточке с генерацией.

Шаг 4. Когда видео сгенерируется, оно появится на вкладке Your Creations. Чтобы сохранить его, откройте ролик, кликните правой кнопкой и в контекстном меню браузера выберите опцию сохранения.

За месяц с одного аккаунта можно сгенерировать 30 видео. Потом придется регистрировать новый аккаунт или покупать подписку. Вот что следует учитывать, чтобы не потратить запросы зря.

Генерируйте по картинке. Нейросеть генерирует с нуля заметно хуже. Ей сложно нарисовать качественное изображение без артефактов, а потом его анимировать. Поэтому загружайте картинку — и уже к ней дописывайте запрос. Так ниже вероятность, что вылезут артефакты.

Будьте готовы к артефактам — даже с генерацией по картинке. Нет гарантии, что ваш персонаж не изменится до неузнаваемости.

Возможно, перегенерация поможет, но не факт.

Генерируйте фильмы. Если все-таки хочется генерировать только по текстовому описанию, выбирайте кинематографичные сцены.

Судя по всему, в датасете нейросети было много фильмов и аниме, поэтому она хорошо справляется с такими задачами.

Не усложняйте. Не прописывайте слишком длинные сцены. В пять секунд нейросеть все равно не уложится. Указывайте одно или максимум два действия: сидит, пьет, идет, улыбается. А можно просто описать объект и добавить слово motion — тогда нейросеть придумает движение на свое усмотрение, но оно будет реалистичным.

Оживляйте мемы. В соцсетях нашли главный потенциал Luma AI — анимировать картинки, популярные в интернете. Попробуйте оживить свои фото или любимые мемы. Вряд ли нейросеть можно использовать для рабочих задач, а для развлечения — самое то.

Запускайте сразу несколько генераций. Нейросети можно отправить несколько запросов одновременно, выполнять она их будет по одному. Это удобно, если на сайте есть очередь. Пока вы занимаетесь своими делами, сервис сгенерирует несколько вариантов видео.

Платная подписка увеличивает количество видео, которые можно генерировать каждый месяц. Никакие дополнительные функции туда не включены.

Вот как купить подписку:

1. Нажмите Account.
2. Кликните на понравившийся план. Вас перенаправит на страницу оплаты.
3. Оплатите картой иностранного банка. Выпущенные в России карты не сработают.