Как пользоваться HeyGen — нейросетью для перевода видео с сохранением голоса
Приложения и сервисы
141K

Как пользоваться HeyGen — нейросетью для перевода видео с сохранением голоса

Есть одна бесплатная попытка — даем советы, как не потратить ее впустую

22
Аватар автора

Даша Лейзаренко

уже не человек, а дипфейк

Страница автора

Нейросеть HeyGen распознает речь в ролике и переводит ее на другой язык. При этом повторяет голос и даже соответствующие движения губ.

Это первый подобный популярный сервис. Он частично поддерживает русский язык: переозвучить на нем ничего нельзя, а вот с русского на английский, испанский, польский и другие — без проблем. Из-за ограничений HeyGen пока не получится пользоваться для длинных видео или сложных роликов с несколькими голосами. Зато короткие ролики переозвучить можно даже бесплатно.

Рассказываем, что такое HeyGen и как пользоваться сервисом.

Что такое нейросеть HeyGen

Изначально HeyGen — cервис с виртуальными аватарами, которые озвучивают текст на разных языках. В соответствии с выбранным языком для цифрового персонажа генерируется мимика и движения губ. В сервисе есть свой видеоредактор, где можно создать диалог между несколькими персонажами. На выбор даются как мультяшные герои, так и реалистичные модели людей.

В сентябре 2023 года HeyGen выпустили в бета-версию функции перевода видео. Для нее используется одновременно три технологии: перевод, дипфейк  и распознавание голоса. Голос обрабатывают и копируют с помощью нейросетей. Текст переводят и переозвучивают на выбранном языке. Рот говорящего человека перерисовывают так, чтобы текст на новом языке ложился на мимику.

Таким образом, получается полный дубляж с переводом на другой язык, но сохранением оригинального голоса. Если присмотреться, то иногда заметны артефакты. Однако чем лучше качество видео, тем лучше генерация.

Сейчас HeyGen поддерживает перевод только коротких видео. Судя по всему, хронометраж варьируется от нагрузки на сервис: поначалу загружали двухминутные ролики, но потом длительность ограничили минутой. Поэтому русскоязычные пользователи в первую очередь стали тестировать нейросеть на культовых мемах.

Мем про кандибобер, переведенный на английский
Мем с Евгением Понасенковым (внесен Минюстом в реестр иноагентов), переведенный на немецкий
Мем с Никитой Литвинковым, переведенный на английский
Мем с идущим к реке, переведенный на английский

Как сгенерировать перевод видео в нейросети

Для входа на сайт не требуется VPN и иностранный номер телефона, только регистрация. Вот что нужно сделать, чтобы обработать свое видео:

  1. Удобнее сразу перейти по ссылке на сайт с бета-функцией перевода видео. Зарегистрируйтесь там или войдите через гугл-аккаунт.
  2. Перетащите или загрузите видео продолжительностью от 30 до 59 секунд. Другие требования к ролику: размер до 500 Мб, формат MP4, QTFF или WEBM.
  3. Выберите язык, на который перевести ролик: английский, испанский, французский, хинди, итальянский, немецкий, польский, португальский. Оригинальный ролик при этом может быть и на русском языке.
  4. Дождитесь обработки. Из-за большого спроса вы можете попасть в виртуальную очередь. Если проценты прогресса обработки не двигаются, обновите страницу.
  5. Скачайте результат.

Сейчас HeyGen под огромной нагрузкой. Будьте готовы к тому, что ждать видео придется до нескольких часов.

Окно для загрузки ролика. Источник: labs.heygen.com
Окно для загрузки ролика. Источник: labs.heygen.com

Какое видео выбрать

В HeyGen дается всего одна бесплатная попытка на один аккаунт. Так что стоит внимательно отнестись к выбору видео. Некоторые советы дают сами разработчики сервиса, другие собирают пользователи в сети. Вот что стоит учитывать:

🎸 В идеале стоит использовать видео без шума или музыки на фоне. Либо же музыка не должна быть выраженной.

🎤 Лучше, если на видео говорит только один человек. Если загрузить диалог, нейросеть объединит голоса и заставит обоих собеседников говорить «усредненным» голосом.

🌝 Проверьте, чтобы в кадре не было, например, портретов или бюстов. ИИ-липсинк вставляется на то, что система распознает как лица, то есть картина может заговорить.

😐 Говорящий должен смотреть прямо в камеру, иначе генерация мимики собьется.

🙈 Руки, микрофоны или другие предметы не должны закрывать лицо говорящего — по тем же причинам.

🤐 Спикер должен говорить на одном языке. Если он вставляет в речь на одном языке слова из другого, то генерация тоже собьется.

Видео, которое HeyGen так и не победила

Как сгенерировать больше одного видео

Попытки в HeyGen исчисляются токенами. Один токен — одна минута видео. Вместе с платной подпиской увеличивается и лимит на длительность ролика — до 5 минут. Также разработчики обещают подписчикам приоритет при обработке. Вот как купить премиум-версию:

  1. Нажмите на кнопку с кредитами в правом верхнем углу. Откроется окно с выбором плана.
  2. За 29 $⁣ (2782 ₽) в месяц вы получите 15 кредитов — то есть 15 минут видео. Максимальная подписка за 239 $⁣ (22 935 ₽) даст 120 кредитов — 2 часа видео. Выберите план и нажмите Get Started.
  3. Оплатите. Понадобится карта иностранного банка, российские карты не поддерживаются.

Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult

Даша ЛейзаренкоУже попробовали HeyGen? Покажите, что получилось:
  • user1294477Подскажите по опыту, сколько ждать очереди ? Висит часов 15 уже )0
  • Max Maxuser1294477, висит уже двое суток1
  • Alex SuMax, аналогично двое суток висит2
  • Кулюнбек МатурбековСутки ждал и прислали на почту результат3
  • РусланAndrey, жду уже 4 дня, это просто какой-то треш1
  • Орангутан10к человек в очереди = суткам ожидания. Сейчас в очереди в среднем около 150к человек, следовательно время ожидания ≈ 15 суток.0
  • ЯрославЧто значит " Он частично поддерживает русский язык " Мне нужно как раз с китайского на русский перевести. Не понимаю как частичным функционалом воспользоваться. Может быть подскажете. Вдруг этого мне будет достаточно. Спасибо за ответ0
  • Андрей ПасанецкийКулюнбек, и как оно? Поделись0
  • Кулюнбек МатурбековАндрей, https://app.heygen.com/video-translate/share/add315bc7a3a4b6cb523cd017838666d2
  • PrestaproСкам, 5 день пошел, очередь только растет1
  • Angelika VolozhaninaТак а что делать .Я загрузила ,нажала генерировать .Написано у вас два кредита ,используйте один для этого видео ,я жму ок и просто ничего не происходит.Я все в этом же окне где загрузила видео,кризисов сколько было столько и есть0
  • KUK GENDAКулюнбек, хахахах харош0
  • Cernei AndreeaОна на бесплатная0
  • Финаносвая ВитринаЭто очень круто! жаль, что так долго всё0
  • Denis FedorovskiiВроде норм 😁 https://www.youtube.com/shorts/nDC5VKVqCm4?feature=share0
  • OlegПо ценам что-то не то. За месяц требует 48 $. Хотел уже заплатить, стал вводить данные карты и заметил, что снять хотят сразу 576, то есть за год. Варианта оплаты за месяц не предлагается0
  • Виктор МарковЕрунда это всё, с очередью. Лучше https://elevenlabs.io/dubbing там будет с водяным знаком, зато бесплатно.1
  • Ирина ФоминыхЗдравствуйте подскажите пожалуйста, а текст в видео он не переводит?0
  • Аленавсе получилось! Сколько бесплатных роликов можно загрузить? кто знает?0
  • АленаВсе получилось очень даже!0