Летом 2021 года «Яндекс» запустил закадровый перевод видео с английского языка на русский. В декабре список поддерживаемых языков пополнили испанский, немецкий и французский. Функция, по словам разработчиков, работает в YouTube, Vimeo и на нескольких стриминговых платформах. «Эльдоблог» протестировал мощь нейросетей и узнал, насколько точным получается перевод.
«Яндекс» переводит видео с иностранных языков при помощи нейросети. Она опирается не только на звуковую дорожку, но и на загруженные субтитры к видео. Ручные субтитры значительно упрощают функцию перевода и улучшают его качество. Разработчики также отдельно добавили распознавание пола спикера: мужские голоса озвучиваются в переводе мужчиной, а женские — всем известным голосом Алисы. Далее переведённый текст накладывается на оригинальное видео в соответствии с таймингом.
Пользователи Яндекса теперь могут посмотреть практически любое видео, даже если они не владеют иностранными языками. Браузер автоматически предлагает озвучить перевод — для этого достаточно нажать на специальную кнопку над видео. Ролики можно смотреть как на компьютере, так и на смартфоне. Функция доступна на платформах Windows, Android и iOS.
источник: Яндекс
Ранее мы рассказывали:
Мы решили проверить, как работает функция перевода в «Яндексе» и посмотрели видео на YouTube в разных жанрах: клипы, новости и кино.
Первая попытка обернулась фиаско. Нейросеть не справилась с треком Эминема Rap God, который известен за быструю читку. Браузер попросил вернуться позднее и пообещал, что скоро перевод станет доступен.
Тогда мы попробовали перевести песню Ники Минаж Super Bass. На этот раз попытка оказалось удачной. Спустя несколько секунд оригинальная звуковая дорожка стала тише, а голос Алисы стал озвучивать текст песни на русском языке. Нейросеть справилась с рэп-партией, но вот мелодичный припев оказался недоступен для перевода. Отдельно стоит отметить и качество интерпретации. В целом смысл песни становится понятен, но перевод всё равно недостаточно точный. Сленговые слова и идиомы переводились буквально, а закадровый текст не успевал за оригиналом.
Чтобы проверить новую функцию перевода с других языков, мы открыли клип французского рэпера Sofiane на трек Bandit Saleté. Нейросеть справилась даже лучше, чем с композициями на английском языке. Перевод был достаточно точный и понятный. Вероятно, это зависит и от скорости речи: у француза читка была более размеренная и спокойная, чем у той же Минаж.
Ранее мы рассказывали:
Затем мы решили испытать нейросеть переводом англоязычного репортажа. Мы выбрали материал CNN о захвате Капитолия сторонниками Дональда Трампа в январе этого года. Перевод занял несколько минут: браузер сообщил, что отправит уведомление, когда все будет готово. Это удобная функция — можно свернуть вкладку и заняться другими делами в ожидании оповещения. Нейросеть справилась с задачей, перевод был не совсем точным и складным, но основной смысл репортажа оказался понятным.
В финале мы посмотрели фрагмент из фильма «Властелин колец: братство кольца». Здесь перевод оригинального текста оказался наиболее точным, близким к оригиналу и понятным. Скорее всего, роль сыграла медленная речь, а также простая лексика без сленговых слов и специфических терминов.
Ранее мы рассказывали:
Итак, новая функция перевода видео от «Яндекса» заслуживает оценки «хорошо». Многие видео ещё не доступны для нейросети, также ей сложно справиться с особой лексикой и высокой скоростью речи спикера. Тем не менее, для людей, совершенно не знающих иностранных языков, функция окажется крайне полезной. Основной смысл текста песен, репортажей и фильмов будет понятен. К тому же нейросеть постоянно обучается, и совсем скоро пользователям станет доступно всё больше роликов, а качество перевода улучшится.
Присылайте нам свои обзоры на технику и получайте до 1000 бонусов на карту «Эльдорадости»!
