Представьте: вы просматриваете фото с близким человеком и вам очень хочется его обнять, но сделать этого вы не можете. Грустно? Не то слово. А что, если мы скажем, что объятия все же возможны? Для этого не нужны ни машина времени, ни телепортатор, ни даже магия. Достаточно нейросети, которая создаст для вас нужное видео. Прямо как волшебные фотографии из Гарри Поттера. Рассказываем, как это работает и как сделать такие видео.
Содержание
Как нейросети создают видео с объятиями
Для пользователей генерация происходит практически как магия. Достаточно загрузить исходные фотографии и при необходимости описать желаемый результат. Но за этой кажущейся простотой скрываются сложные процессы.
Создание видео происходит с использованием генеративного искусственного интеллекта (ИИ). Для этого нейросеть анализирует загруженный материал, определяет позы людей, фон и сцену в целом. После этого применяется сегментация изображения, определяются ключевые точки тела, такие как руки, ноги, голова и другие.
Далее нейросеть определяет, как должны двигаться люди, чтобы произошло объятие. На основе этого генерируются последовательные кадры. На этом этапе ИИ учитывает освещение и связь людей с фоном, чтобы происходящее было максимально реалистичным. При этом используются алгоритмы смешивания изображений и коррекции освещения. В конце сглаживаются переходы между кадрами, удаляются артефакты и повышается разрешение.
Ранее мы рассказывали:
От Suno до Loudly: топ-9 нейросетей для создания музыки
Нейросети для создания видео с объятиями
В интернете можно найти много нейросетей для генерации видео. Они отличаются друг от друга по принципу использования и сложности взаимодействия. Расскажем о нескольких самых популярных онлайн-сервисах.
PixVerse
PixVerse — продвинутый сервис для генерации видео с большим количеством функций. Есть версии для Android и iOS. В этой программе можно по заданному описанию создать персонажа или использовать готовую фотографию, чтобы затем придумывать с ней всевозможные истории.
Что может PixVerse?
- Сгенерировать видео по заданному изображению и текстовому описанию.
- Создать промежуточные кадры. Пользователь загружает первый и последний кадры с указанием того, что должно произойти на видео между ними.
- Заставить персонажа на видео говорить заданный текст. При этом можно использовать как собственный голос, так и доступные в базе сервиса варианты. Текст синхронизируется с движением губ.
- Расширить существующее видео по указанному описанию.
- Изменить графический стиль видео. Например, с реалистичного на мультяшный.
При генерации видео можно задать соотношение сторон и длительность (5 или 8 секунд). Помимо описания того, какой результат вы хотите, PixVerse также позволяет перечислить то, чего точно не должно быть на видео. Например, вам нужно поле цветов, но чтобы на нем не было конкретных видов или оттенков.
При бесплатном использовании возможности PixVerse сильно ограничены. В день доступно всего две генерации видео низкого разрешения. Для полноценного использования необходимо оформить подписку минимум за $8 (~780 рублей) в месяц. Правда, и в этом случае есть ограничение по количеству доступных для генерации видео. Это решается покупкой дополнительных возможностей за минимум $5 (~485 рублей).
DreamFace
Сервис DreamFace доступен в сети и в качестве мобильного приложения для Android и iOS. Во многом его возможности схожи с PixVerse. Он тоже позволяет генерировать видео по тексту и/или фотографии, а также создавать и озвучивать видео с выбранным персонажем.
Есть у DreamFace и несколько отличительных функций. Например, возможность генерировать видео с животными: можно заставить своего кота петь популярную песню или произнести напечатанный текст, придуманный вами или взятый из какого-либо источника.
Сервис также позволяет перевести речь на видео. Но пока доступен только перевод с английского на китайский и обратно. Еще одна интересная функция под названием Act позволяет поместить выбранного персонажа в имеющееся видео. Помимо работы с роликами DreamFace позволяет удалять фон с фотографий, улучшать их разрешение и восстанавливать старые или поврежденные снимки.
Бесплатно сервис позволяет генерировать всего два видео в неделю. Для разблокировки всех функций нужно оформить подписку стоимостью от $4,99 (~485 рублей) в неделю или $29,99 (~2940 рублей) в месяц. От выбранного тарифа зависит количество символов для описания видео, его продолжительность и качество.
Pollo AI
Pollo AI — еще один сервис генерации видео. С его помощью можно создать короткий ролик как по одному только текстовому описанию, так и с помощью изображения. Есть также функция изменения графического стиля загруженного видео (например, можно превратить его в аниме).
В режиме «Последовательное видео персонажей» можно загружать до трех изображений, чтобы добавить в сгенерированное видео несколько конкретных объектов или задать локацию. Добавляете свое фото, изображение пляжа и коктейль — идеальный ролик с отдыха готов.
Сервис предлагает обширную библиотеку заготовленных видеоэффектов, которые можно использовать для генерации видео. Тут есть и объятия, и поцелуи, и многое другое. Достаточно выбрать эффект, загрузить фото — и получить результат.
В отличие от аналогов, Pollo AI позволяет выбрать нейросетевую модель для генерации видео. Среди вариантов даже есть PixVerse. Можно экспериментировать с несколькими нейросетями, чтобы получить нужный результат.
Воспользоваться сервисом бесплатно так просто не получится. Генерация одного видео стоит 10 кредитов. Разработчики предлагают ежедневно отмечаться на сайте в течение недели, чтобы накопить в общей сложности 25 кредитов. Можно оформить подписку за $10 (~980 рублей) и получить 30 генераций на месяц. Также есть возможность настроить собственный план, выбрав нужное количество кредитов.
Сыграй в приложении и выиграй 5000 рублей
Узнать большеРанее мы рассказывали:
Вам пишет ИИ: как отличить текст, написанный нейросетью
Пример создания видео с объятиями
Все три перечисленных сервиса могут создавать видео с объятиями. Алгоритм в целом схожий. Например, в DreamFace следующая последовательность действий:
- Откройте сайт или приложение DreamFace.
- Перейдите на вкладку AI Video.
- На панели снизу нажмите на кнопку загрузки изображения и выберите на вашем устройстве фотографию, где изображены два человека.
- Правее в поле ввода текста напишите: Make them hug [в переводе: заставь их обняться]. Или ниже нажмите на кнопку Effect и выберите эффект с объятиями.
- Под текстовым полем укажите продолжительность видео (4 или 8 секунд), разрешение (низкое для быстрой генерации, 720p или 1080p).
- Следующая кнопка отвечает за амплитуду движений. Лучше оставьте Auto.
- Последняя кнопка позволяет выбрать реалистичное видео (General) или мультяшный стиль (Anime).
- После этого нажмите зеленую кнопку Generate и дождитесь завершения создания видео.
- Все ваши сгенерированные видео можно посмотреть и скачать во вкладке Creations (сверху справа).
В PixVerse генерация видео практически ничем не отличается от DreamFace. У сервисов даже интерфейс похожий.
А вот у Pollo AI алгоритм действий даже проще:
- После открытия сайта на панели слева выберите «Видеоэффекты ИИ».
- Из списка выберите «Объятия ИИ».
- Загрузите одно фото с двумя нужными людьми или отдельные фото каждого из людей. Важно, чтобы оба изображения были с одинаковыми соотношениями сторон. Например, квадрат (1:1), 4:3, 16:9 и т. д.
- Нажмите «Создать» и дождитесь завершения генерации.
- Чтобы посмотреть все свои видео, нажмите в правом верхнем углу на свой аватар и выберите «Мои творения».
Все три нейросети хорошо справляются со своей задачей. DreamFace и Pollo AI следуют указаниям и «заставляют» людей на фото обниматься. Плюс Pollo AI в том, что можно использовать две раздельные фотографии. PixVerse делает более эмоциональную сцену.
Ранее мы рассказывали:
Как «оживить» и улучшить качество старых снимков и видео с помощью нейросетей
Советы по использованию нейросетей
Качество итогового видео зависит много от чего, включая исходный материал, корректность написанного запроса и непосредственные возможности нейросети.
В качестве исходников по возможности используйте фотографии/видео высокого качества, где человек четко отделен от заднего фона. В идеале он должен быть повернут прямо в камеру, чтобы хорошо было видно лицо. Чем меньше лишних объектов в кадре — тем лучше.
Описывайте как можно больше деталей, включая даже положение камеры, чтобы нейросеть следовала вашим инструкциям, а не пыталась придумать что-то свое. По возможности пишите задачу на английском языке, поскольку практически все нейросети используют его в качество «родного». В противном случае при внутреннем переводе может исказиться ваш запрос. Также проверяйте текст на грамматику.
Не ожидайте идеального результата. Генераторы видео все еще находятся на начальном этапе развития, поэтому результат порой выглядит неестественно, а люди могут быть непохожи на себя.
2SDnjcr8gC4
