Как бесплатно гене­ри­ро­вать видео в китайской ней­ро­сети Kling

Kling AI — сервис для генерации видео по текстовому запросу или картинке.

Его разработала китайская компания Kuaishou. Изначально доступная только в Китае нейросеть вышла в глобальный доступ и стала популярной благодаря высокому качеству и реалистичности сгенерированных роликов.

Расскажу, что за сервис, как он работает и как писать промпты, чтобы не потратить бесплатные генерации впустую.

Раньше Kling был доступен только китайским пользователям — требовался местный номер телефона. После выхода нейросети в глобальный доступ нужен только адрес электронной почты. Вот как зарегистрироваться:

1. Перейдите на сайт сервиса и нажмите Sign in, а затем — Sign up for free.
2. Введите почту и пароль будущей учетной записи.
3. Пройдите капчу. Когда вам предложат переместить детальку пазла, двигайте ползунок под картинкой. Пытаться перетащить саму детальку бесполезно: она не кликабельна.
4. Перейдите в свою почту, откройте письмо, найдите код верификации и введите его на сайте.

Вы получите 66 бесплатных кредитов в день. На следующий день они не переносятся, копить не получится. На одну генерацию видео длительностью пять секунд нужно 10 кредитов — то есть в день получится создать шесть роликов.

Платная подписка стоит от 10 $⁣ (850 ₽) в месяц. Она дает возможность генерировать видео более высокого качества в Professional Mode, создавать ролики продолжительностью до трех минут без водяного знака, более гибко управлять движением камеры. Российской картой оплатить подписку нельзя.

После входа в аккаунт вы попадете в Kling Creative Space — основное пространство для создания видео. Интерфейс Kling привычен для тех, кто уже генерировал в нейросетевых сервисах картинки или музыку.

Нажмите на AI Videos. Откроется режим генерации по текстовому запросу Text to Video. Появится поле для ввода промпта — тут нужно описать, что будет происходит в видео. Там же есть дополнительные настройки, которые позволяют заранее повлиять на результат.

В режиме Image to Video можно также загрузить картинку — начальный кадр будущего видео. С платной подпиской доступна и загрузка финального кадра, то есть нейросеть будет стараться выстроить плавный переход между ними.

Вот какие еще есть настройки:

1. Creativity, точность следования промпту. Ползунок можно перемещать от Creativity до Relevance — условно говоря, от «сделать красиво» до «максимально точно следовать инструкциям в промпте».
2. Mode, режим генерации. Standard Mode быстрее, а Professional Mode дает картинку более высокого качества, но доступен только пользователям с платной подпиской.
3. Length, продолжительность видео, — 5 или 10 секунд, но с бесплатным тарифом второй вариант недоступен.
4. Aspect Ratio, соотношение сторон, — 16:9, 9:16 и 1:1.
5. Camera Movement, контроль движения камеры. Можно добавить динамичности видео, создать эффектные переходы, если потом будете собирать из коротких фрагментов общий клип, или акцентировать внимание на определенных деталях.
6. Negative Prompt, негативный промпт, — указание, чего в видео быть не должно. Это поле заполнять необязательно. А еще сервис не всегда точно следует указаниям из него — часть требований может проигнорировать.

Чаще всего можно оставить настройки по умолчанию и ничего не регулировать: креативность будет стоят на 0,5, продолжительность видео — 5 секунд, кадр горизонтальный, 16:9. Движение камеры задавать необязательно, сервис сам все придумает.

Когда все настройки заданы, достаточно нажать кнопку генерации и дождаться результата. Видео будет готово в течение нескольких минут.

Качество видео напрямую зависит от промта — его нужно писать на английском. Если не знаете языка, можно воспользоваться переводчиком. В соцсетях уже собрали базовые советы по промптингу именно для Kling. Вот что стоит учитывать.

👌 Формулируйте четко и конкретно. Чем точнее вы опишете желаемую сцену, тем лучше будет результат. Используйте простые и понятные фразы, избегайте двусмысленности. Например, вместо «женщина в длинном платье» лучше написать «женщина в длинном вечернем платье идет по пляжу на закате».

🏃‍♀️ Сфокусируйтесь на движении. Kling хорошо понимает действия и движения, поэтому описывайте не столько объекты в кадре, сколько их поведение. Например, вместо «кошка на крыше» напишите «кошка медленно идет по краю крыши ночью».

🤪 Избегайте сложных идиом и образных выражений. Нейросеть может неправильно интерпретировать сложные фразы, сравнения, слова в переносном смысле. Лучше писать прямо и просто. «Человек идет по пустыне во время заката, вокруг только песок и редкие кусты» — хороший пример. «Человек блуждает по пустыне, как потерянная душа в море времени» — неудачный. Нейросеть может попытаться изобразить и человека, и пустыню, и море, и время, и душу.

🎨 Экспериментируйте с уровнем креативности. Установка ползунка на средний уровень — около 0,5 — дает сбалансированный результат. Нейросеть соблюдает указания, но при этом добавляет собственную интерпретацию запроса. Если хотите, чтобы Kling строго следовал промпту, установите креативность на минимум.

🖼 Используйте визуальные подсказки. Видео будет более связным, если в каждом кадре есть какой-то условно неподвижный элемент, вокруг которого нейросеть может выстроить сцену. Например, приборная панель автомобиля — а активное движение происходит за окном, здание — и какой-то экшен возле него. Переход между абсолютно разными кадрами получается не очень качественным.

1️⃣ Генерируйте одно действие за раз. Kling, как и другие нейросети для генерации видео, пока плохо отрабатывает два разных сюжета или объекта в одной сцене. Одно действие — одна генерация. Потом фрагменты по пять или 10 секунд можно будет собрать в более сложный ролик в любом видеоредакторе. Например, не стоит одним промптом прописывать, как корги едет на мотоцикле, а на трассу вдруг выскакивает Гэндальф и сообщает, что дальше не пройти. Лучше разбить сюжет на две-три сцены и сгенерировать каждую отдельно.

✅ Пишите в промпте то, что должно быть, а не чего не должно. Нейросети плохо понимают отрицания, поэтому для негативного промпта есть отдельное поле. Но и оно не всегда обрабатывается точно. В запросе лучше написать «светло, начинается закат», чем «еще не стемнело».

Если вы пользуетесь ChatGPT, пригодится бот Luma / Gen-3 / Kling promt enchancer. Ему достаточно простым языком рассказать, что вы хотите видеть в ролике, можно писать на русском. Он в ответ выдаст промпт для Kling — пару предложений на английском с описанием сцены, движения камеры и других деталей.

Kling довольно точно интерпретирует описания, особенно если промпт четко сфокусирован на одном действии или элементе сцены. Например, я сгенерировала видео, где все держится на корги, картинка строится вокруг собак.

Хотя почему-то псов стало два — в запросе такого не было.

Kling отлично справляется с созданием сложных текстур и реалистичных световых эффектов, особенно в сценах с фиксированным или минимальным движением.

Например, трещины, ржавчина, стесанные края старых досок — все детально проработано в генерации с одной попытки, хотя настолько подробно в запросе я это не прописывала.

Но видеоролики с активными движениями, в том числе парящими птицами или бегущими животными, могут содержать артефакты или получаться недостаточно плавными. Иногда помогает разбить сцену на более короткие движения и генерировать фрагменты по отдельности либо экспериментировать с показателем креативности.

Например, если оставить настройки по умолчанию и попробовать получить динамичное видео с первой попытки, может выйти вот так. Богомол отращивает лишние конечности, а панде лень вылезать из-под земли.

Если задать начальный кадр, то есть генерировать в режиме Image to Video, результат обычно получается более качественным — об этом пишут в соцсетях. Дело в том, что нейросети проще оживить уже готовую картинку, чем создавать ее с нуля, а потом еще и анимировать.

Но у меня проверить это у меня не получилось — всякий раз загрузка доходит до 99% и зависает. Я ждала несколько часов, но ничего так и не произошло. Смена аккаунтов тоже не помогла.

Пользователи соцсетей пробовали также «оживлять» в Kling исторические фотографии, но движения получаются не очень реалистичными. Это связывают с тем, что в видео, на которых обучали нейросеть, такие кадры тоже не двигались — их вставляют в хроники как слайд-шоу.

Еще один тренд — видео, где человек обнимает себя же в молодости. Пользователи соцсетей сгенерировали десятки таких видео — преимущественно со звездами или с самими собой.

Вариация этой же идеи — когда в качестве стартовой картинки загружают коллаж с фото самого человека и его покойного родственника, и модель генерирует виртуальную встречу с любимой бабушкой.