Что такое нейросеть HeyGen и как ей пользоваться

Содержание

Что умеет нейросеть HeyGen?

Сперва HeyGen был лишь невзрачным, хоть и интересным с точки зрения нейросетей сервисом для создания анимированных аватаров, которые озвучивают заданный текст. У анимашек лицевая мимика, движения рта и губ подстраиваются под текст и выбранный заранее язык. На выбор даются трехмерные рисованные мультяшки или человеческие образы, но последним пользоваться не рекомендуем — есть неиллюзорный шанс скукожиться от эффекта «Зловещей долины». Мы вас предупредили!

А вот в 2023 появилось именно то, за что HeyGen сейчас боготворят. Теперь можно при помощи совокупности технологий нейросетевого перевода, продвинутого дипфейка и распознавания речи заставить любимых персонажей мемов из прошлого (или настоящего, но это не так интересно) говорить на другом языке. При этом неподготовленный зритель даже не заметит подвоха, ведь липсинк, то есть движения губ в такт речи, подстраивается под перевод, а голос остается оригинальным. Магия — да и только.

Как сделать перевод видео в HeyGen?

Заранее стоит учесть, что нейросеть бешено популярна, и каждый хочет перевести что-то свое, так что сервера HeyGen чаще всего оказываются сильно перегружены. Поэтому обработку даже короткого тридцатисекундного видео приходится ожидать до нескольких часов. Но кто сказал, что будет просто? Искусство требует жертв.

В отличие от большинства других нейросетей, для доступа к HeyGen не нужно устанавливать или покупать виртуальный заграничный номер телефона. Достаточно пройти регистрацию через пару почта-пароль или, например, Google-аккаунт на сайте сервиса.

После регистрации и авторизации появится такое окно:

Перетащите на ячейку Drop to Upload с вашего компьютера видео размером до 500 Мб в формате MP4, WEBM или Quicktime (QTFF). Важно: длина ролика должна быть не менее 30 и не более 59 секунд.

После этого выберите в предложенном списке язык для перевода. Доступные языки на текущий момент — английский, немецкий, французский, испанский, португальский, итальянский, хинди и даже польский. Имеется в виду, что на перечисленные языки можно перевести речь в видеоролике, а язык оригинала может быть почти любым.

Выбрали язык? Отлично, отправляйтесь на работу или учебу, потому что дожидаться результата придется долго. Скорее всего, на это уйдет от трех до девяти часов, и на всякий случай рекомендуем не закрывать вкладку браузера до конца процесса. Когда обработка завершится, вам предложат скачать готовый ролик на жесткий диск, а на вашу почту придет уведомление со ссылкой для загрузки.

Какое видео можно переозвучить?

Короткий ответ — любое, в котором звучит человеческая речь и видно говорящего. Однако есть несколько советов, которые помогут в выборе более подходящего ролика.

• Откажитесь от роликов, где речь нечеткая, есть шумы или музыка на фоне. Система может плохо распознать отдельные фразы — и получится каша.
• Лицо говорящего должно обязательно быть повернуто к камере с максимальным отклонением не более чем на 15-30 градусов. Голову говорящего не должны закрывать посторонние предметы, а в кадре не должно быть портретов или фотографий, иначе HeyGen может принять их за живых людей и перенести липсинк на них.
• Говорить должен только один человек и только на одном языке, в противном случае HeyGen сойдет с ума и выдаст невменяемый результат.
• Видео не должно быть совсем уж «шакального» качества. Чем ниже исходное качество — тем хуже результат липсинка.

И не забывайте про параметры исходного ролика!

Как долго нейросеть ХейГен обрабатывает видео?

Долго, очень долго. Запаситесь терпением и загружайте видео перед сном или уходом на учебу/работу. Как уже было сказано ранее, на обработку одного видеоролика в бесплатном режиме уходит до девяти часов в худшем случае из-за длинной очереди заявок. Разработчики обещают, что при покупке премиум-токенов у вас будет приоритет, но, к сожалению, в настоящий момент оплата картами российских банков в сервисе недоступна. От пользователей также поступают отзывы, что всё чаще ролики стали обрабатываться еще дольше. В редких случаях срок увеличивается даже до двух-трех суток.

Можно ли сгенерировать больше одного видео?

При бесплатной подписке — нет. Разрешается создать только один ролик с дублированной озвучкой длиной не более 59 секунд, но никто не мешает вам создать несколько аккаунтов и загрузить в обработку сразу два, три и больше видеороликов.

Если у вас каким-то чудом оказалась премиум-подписка и токены, то лимит длительности видео вырастает до 5 минут. При этом за примерно 2800 рублей по нынешнему курсу рубля к доллару вы получаете 15 токенов в базовой подписке, а один токен равен одной минуте. То есть будет доступен перевод трех роликов длительностью по пять минут, или пять — по три минуты, например. Зато самая дорогая подписка (около 23 тысяч рублей) дает целых 120 токенов — хватит на переозвучку целого двухчасового фильма!