Как бесплатно генерировать видео в нейросети Luma AI

Как бесплатно генерировать видео в нейросети Luma AI

Легко и быстро

16
Аватар автора

Даша Лейзаренко

все еще генерирует мемы

Страница автора

Компания Luma AI представила сервис Dream Machine, который генерирует 5-секундные ролики по текстовому запросу.

Модель создает видео, сравнимое по качеству с генерациями Sora — самой продвинутой нейросети из имеющихся. Вот только попробовать сервис от компании OpenAI пока что нельзя, а Luma AI уже доступна всем. В месяц можно бесплатно создавать ограниченное количество роликов.

Расскажу, как пользоваться Luma AI и о чем стоит помнить, чтобы не потратить попытки просто так.

Письма о технологиях и интернете
Помогут использовать технологии по полной и будут держать в курсе мемов и трендов. В вашей почте дважды в месяц. Бесплатно

Почему нейросеть Luma AI крутая

Долгое время модели для генерации видео работали не очень качественно. Они создавали видеоряд на той же архитектуре, что и нейросервисы для статичных картинок. Обычное изображение для ИИ уже не проблема. А вот сгенерировать множество кадров, да и еще правильно согласовать их между собой, — задача гораздо сложнее.

Из-за этого даже короткие ролики распадались на артефакты, объекты постоянно менялись, будто бы каждую секунду их перерисовывали заново. При создании Sora в Open AI нашли новый подход: нейросеть не только генерирует последовательность картинок, но и строит модель мира, учится понимать физику и движение объектов. Благодаря этому видеоряд получается стабильным и естественным.

Dream Machine от Luma AI — эта одна из первых нейросетей для генерации видео на такой же архитектуре, которую можно попробовать самому. Она создает реалистичные ролики, которые выглядят качественнее, чем у конкурентов — Runway Gen-2 или Pika. Картинка не дергается, а герои видео не морфятся  .

При этом разработчики подтвердили, что у нейросети есть ряд ограничений. Luma AI не может генерировать качественный текст — он будет с ошибками или вообще нечитаемым. Она ошибается в движениях: например, собака, которая должна бежать, может полететь. А еще искажает и деформирует объекты. Но такие же ограничения есть и у Sora.

Проморолик Luma AI

Как пользоваться Luma AI

Пользоваться сервисом можно из России без ограничений. Процесс максимально простой, никакие настройки выставлять не нужно. Вот как сгенерировать видео.

Шаг 1. Перейдите на сайт Luma AI, нажмите Try Now и войдите через гугл-аккаунт. Появится строка для ввода запроса.

Главная страница со строкой ввода запроса. Источник: lumalabs.ai
Главная страница со строкой ввода запроса. Источник: lumalabs.ai

Шаг 2. Выберите, как будете генерировать: только по текстовому запросу или по картинке и текстовому запросу. В первом случае напишите на английском языке, что хотите увидеть. Если не знаете английского, воспользуйтесь переводчиком DeepL. Он лучше, чем конкуренты, переводит с русского на английский, сохраняя контекст.

Вот что рекомендует команда Luma AI при генерации по текстовому запросу:

  1. Поставьте галочку Enhance Prompt и напишите простой промпт, где будет указан объект и действие. Например, teddy bear in sunglasses playing electric guitar. Функция Enhance Prompt отвечает за то, чтобы расширить и переписать запрос, сделать его более детальным. Итоговый промпт вы не увидите.
  2. Если с Enhance Prompt не получается добиться желаемого результата, уберите галочку и сами напишите подробное описание сцены и действия. Оно должно состоять из трех-четырех предложений. Например, in a somber, nostalgic style, a young man sits on a tree stump in a forest, the warm autumn leaves surrounding him. He wears a brown jacket, dark shirt, and blue jeans, his fingers deftly moving along the fretboard of an acoustic guitar.
  3. Для лучших результатов указывайте движение камеры — a dramatic zoom in, описывайте объект — a white teddy bear wearing sunglasses with soft fur texture, действие — a teddy bear swimming with its arms and feet as the turbulent water splashes all around, фон — a beautiful cloudy sunset near a Caribbean beach.

Если хотите генерировать по текстовому запросу и картинке, нажмите на иконку с изображением и загрузите файл в формате JPG, JPEG или PNG. Он может быть любым. Но лучше всего работают генерации с фото, где только один объект в центре. После этого напишите текстовый запрос. Вот что рекомендует команда Luma AI:

  1. С активной галочкой Enhance Prompt опишите, что хотите видеть в сцене. Например, если вы загрузили изображение автомобиля, то напишите a red car driving on a road.
  2. Особенно полезно будет описать тип движения — walk, talk, drive, dance и так далее.
  3. Если с Enhance Prompt не получается добиться желаемого результата, снимите галочку и подробно опишите объект с картинки и его действия.
  4. Без Enhance Prompt объекты могут практически не двигаться. В таком случае добавляйте больше слов, описывающих действия.
  5. В любом случае важно указать, какие действия совершает объект и как должны двигаться разные детали в сцене. Например, a woman dancing ballet, her arms gracefully extending upward as she twirls around, the dancers behind her bowing low to the ground.

На Reddit говорят, что в запрос стоит добавлять много описаний стилистики, в том числе повторяющихся. Например, movie, shot on film, grain, 35 mm. Так можно добиться лучших результатов.

Шаг 3. Нажмите на кнопку генерации. Обычно процесс занимает 120 секунд. Если на сайте очередь, время ожидания может увеличиться до получаса и более. Узнать о том, что вы встали в очередь, можно по надписи In queue на карточке с генерацией.

Шаг 4. Когда видео сгенерируется, оно появится на вкладке Your Creations. Чтобы сохранить его, откройте ролик, кликните правой кнопкой и в контекстном меню браузера выберите опцию сохранения.

Если кликнуть правой кнопкой по видео, его можно сохранить. Источник: lumalabs.ai
Если кликнуть правой кнопкой по видео, его можно сохранить. Источник: lumalabs.ai

Что получается в Luma AI и как не потратить запросы впустую

За месяц с одного аккаунта можно сгенерировать 30 видео. Потом придется регистрировать новый аккаунт или покупать подписку. Вот что следует учитывать, чтобы не потратить запросы зря.

Генерируйте по картинке. Нейросеть генерирует с нуля заметно хуже. Ей сложно нарисовать качественное изображение без артефактов, а потом его анимировать. Поэтому загружайте картинку — и уже к ней дописывайте запрос. Так ниже вероятность, что вылезут артефакты.

Кот, сгенерированный с нуля. Много артефактов
Сгенерировано по картинке с капибарой. Получилось реалистичнее

Будьте готовы к артефактам — даже с генерацией по картинке. Нет гарантии, что ваш персонаж не изменится до неузнаваемости.

Возможно, перегенерация поможет, но не факт.

Патрик Бейтман превращается в кого⁠-⁠то другого
Джеймса Макэвоя расплющило

Генерируйте фильмы. Если все-таки хочется генерировать только по текстовому описанию, выбирайте кинематографичные сцены.

Судя по всему, в датасете нейросети было много фильмов и аниме, поэтому она хорошо справляется с такими задачами.

Вестерн по текстовому запросу
Аниме по текстовому запросу

Не усложняйте. Не прописывайте слишком длинные сцены. В пять секунд нейросеть все равно не уложится. Указывайте одно или максимум два действия: сидит, пьет, идет, улыбается. А можно просто описать объект и добавить слово motion — тогда нейросеть придумает движение на свое усмотрение, но оно будет реалистичным.

Оживляйте мемы. В соцсетях нашли главный потенциал Luma AI — анимировать картинки, популярные в интернете. Попробуйте оживить свои фото или любимые мемы. Вряд ли нейросеть можно использовать для рабочих задач, а для развлечения — самое то.

Запускайте сразу несколько генераций. Нейросети можно отправить несколько запросов одновременно, выполнять она их будет по одному. Это удобно, если на сайте есть очередь. Пока вы занимаетесь своими делами, сервис сгенерирует несколько вариантов видео.

Что происходит за кадром мема про борщик с капусткой
Вечеринка из мема «Очень плохая музыка»
Грустный хомячок

Что дает подписка

Платная подписка увеличивает количество видео, которые можно генерировать каждый месяц. Никакие дополнительные функции туда не включены.

Какие планы есть у Luma AI

Free30 генерацийБесплатно
Standard120 генераций29,99 $⁣ (2672 ₽)
Pro400 генераций99,99 $⁣ (8909 ₽)
Premier2000 генераций499,99 $⁣ (44 551 ₽)

Какие планы есть у Luma AI

Free
Количество генераций30
СтоимостьБесплатно
Standard
Количество генераций120
Стоимость29,99 $⁣ (2672 ₽)
Pro
Количество генераций400
Стоимость99,99 $⁣ (8909 ₽)
Premier
Количество генераций2000
Стоимость499,99 $⁣ (44 551 ₽)

Вот как купить подписку:

  1. Нажмите Account.
  2. Кликните на понравившийся план. Вас перенаправит на страницу оплаты.
  3. Оплатите картой иностранного банка. Выпущенные в России карты не сработают.

Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult

Даша ЛейзаренкоУже пробовали Luma AI? Какие впечатления?
  • АнтиконсьюмеристДа здравствуют альтернативные концовки знаменитых сцен из фильмов))6
  • ВераИнтересно, через сколько они разовьются до полноценных видео1
  • Игнат ПотаповНе работает ! Generation Failed, please try again1
  • Дмитрий УлановНет0
  • ЖаннаТолько что познакомилась с этой нейросетью. Это круто 👍1
  • Михаил ВнукА можно делать видео в стиле 3д анимации? А то написал - 3d animation style, все равно реалистичный!0
  • StellaБолее двух часов ничего не может сгенерить(( посмотрим, что будет завтра0
  • Тимоха0
  • Феликс Порсиночень даже не плохо.. думаю нейросеть будет процветать и развиваться всё быстрее и быстрее..))0
  • Я у мамы программистВидимо, индусы разленились совсем. Такую дрянь можно на коленке из бесплатных библиотек своять, приправить гитхабом, сверху посыпать стаковерфло... готовое блюдо высыпать хомякам по 99$ в месяц. Бонусом можно еще сайт не шаблонное уг, а заплатить дизайнеру... не продукт, а рука-лицццо.0
  • Лаура СавицкаяСпасибо за статью, разобраться было несложно, не поняла только, как удалять неудачно сгенерированные видео. Буду благодарна за помощь1
  • Елена ШаубертХотелось бы найти ответ - как удалять с профиля получившиеся неудачные генерации?0
  • Анастасия МалевичУже 6 часов жду пока прогрузится и все никак0
  • Татьяна ПолосухинаПробовала. Ничего не получилось.0
  • user33898500
  • user33898500