Как пользоваться HeyGen — нейросетью для перевода видео с сохранением голоса

Нейросеть HeyGen распознает речь в ролике и переводит ее на другой язык. При этом повторяет голос и даже соответствующие движения губ.

Это первый подобный популярный сервис. Он частично поддерживает русский язык: переозвучить на нем ничего нельзя, а вот с русского на английский, испанский, польский и другие — без проблем. Из-за ограничений HeyGen пока не получится пользоваться для длинных видео или сложных роликов с несколькими голосами. Зато короткие ролики переозвучить можно даже бесплатно.

Рассказываем, что такое HeyGen и как пользоваться сервисом.

Изначально HeyGen — cервис с виртуальными аватарами, которые озвучивают текст на разных языках. В соответствии с выбранным языком для цифрового персонажа генерируется мимика и движения губ. В сервисе есть свой видеоредактор, где можно создать диалог между несколькими персонажами. На выбор даются как мультяшные герои, так и реалистичные модели людей.

В сентябре 2023 года HeyGen выпустили в бета-версию функции перевода видео. Для нее используется одновременно три технологии: перевод, дипфейк  и распознавание голоса. Голос обрабатывают и копируют с помощью нейросетей. Текст переводят и переозвучивают на выбранном языке. Рот говорящего человека перерисовывают так, чтобы текст на новом языке ложился на мимику.

Таким образом, получается полный дубляж с переводом на другой язык, но сохранением оригинального голоса. Если присмотреться, то иногда заметны артефакты. Однако чем лучше качество видео, тем лучше генерация.

Сейчас HeyGen поддерживает перевод только коротких видео. Судя по всему, хронометраж варьируется от нагрузки на сервис: поначалу загружали двухминутные ролики, но потом длительность ограничили минутой. Поэтому русскоязычные пользователи в первую очередь стали тестировать нейросеть на культовых мемах.

Для входа на сайт не требуется VPN и иностранный номер телефона, только регистрация. Вот что нужно сделать, чтобы обработать свое видео:

1. Удобнее сразу перейти по ссылке на сайт с бета-функцией перевода видео. Зарегистрируйтесь там или войдите через гугл-аккаунт.
2. Перетащите или загрузите видео продолжительностью от 30 до 59 секунд. Другие требования к ролику: размер до 500 Мб, формат MP4, QTFF или WEBM.
3. Выберите язык, на который перевести ролик: английский, испанский, французский, хинди, итальянский, немецкий, польский, португальский. Оригинальный ролик при этом может быть и на русском языке.
4. Дождитесь обработки. Из-за большого спроса вы можете попасть в виртуальную очередь. Если проценты прогресса обработки не двигаются, обновите страницу.
5. Скачайте результат.

Сейчас HeyGen под огромной нагрузкой. Будьте готовы к тому, что ждать видео придется до нескольких часов.

В HeyGen дается всего одна бесплатная попытка на один аккаунт. Так что стоит внимательно отнестись к выбору видео. Некоторые советы дают сами разработчики сервиса, другие собирают пользователи в сети. Вот что стоит учитывать:

🎸 В идеале стоит использовать видео без шума или музыки на фоне. Либо же музыка не должна быть выраженной.

🎤 Лучше, если на видео говорит только один человек. Если загрузить диалог, нейросеть объединит голоса и заставит обоих собеседников говорить «усредненным» голосом.

🌝 Проверьте, чтобы в кадре не было, например, портретов или бюстов. ИИ-липсинк вставляется на то, что система распознает как лица, то есть картина может заговорить.

😐 Говорящий должен смотреть прямо в камеру, иначе генерация мимики собьется.

🙈 Руки, микрофоны или другие предметы не должны закрывать лицо говорящего — по тем же причинам.

🤐 Спикер должен говорить на одном языке. Если он вставляет в речь на одном языке слова из другого, то генерация тоже собьется.

Попытки в HeyGen исчисляются токенами. Один токен — одна минута видео. Вместе с платной подпиской увеличивается и лимит на длительность ролика — до 5 минут. Также разработчики обещают подписчикам приоритет при обработке. Вот как купить премиум-версию:

1. Нажмите на кнопку с кредитами в правом верхнем углу. Откроется окно с выбором плана.
2. За 29 $⁣ (2782 ₽) в месяц вы получите 15 кредитов — то есть 15 минут видео. Максимальная подписка за 239 $⁣ (22 935 ₽) даст 120 кредитов — 2 часа видео. Выберите план и нажмите Get Started.
3. Оплатите. Понадобится карта иностранного банка, российские карты не поддерживаются.