8 мин. на чтение

Топ-9 нейросетей для создания видео из текста и фото

Пока OpenAI не открыла доступ к лучшей, по слухам, нейросети для генерации видео Sora, мы подобрали девять ИИ-сервисов, с помощью которых тоже можно создавать видеоролики по текстовому описанию. Есть возможность освежить сторисы или рилсы, сделать селфи в аниме- или киберпанк-стиле или изменить уже существующие видео до неузнаваемости.

Содержание

Как использовать нейросети для создания видео

Создание видео по текстовому описанию — это перевод мыслей сначала в текст, а потом в короткий ролик. Есть несколько приемов, с помощью которых можно добиться максимального сходства «ролика» в воображении со сгенерированным видео.

Трейлер несуществующего фильма, выполненный в нейросети Pika

Создание видео с помощью нейросети основано на промпте — это текстовой запрос на английском языке, включающий подробное описание ролика, который вы хотите получить. На основе промпта нейросети генерируют кадры и соединяют их в короткий ролик. Для удобства можно вводить запрос в переводчик на русском языке, а потом копировать его в нейросеть уже на английском.

Трейлер несуществующего фильма, выполненный в нейросети Runway

Чтобы получить качественное видео, представьте, что описываете ролик, который уже видели, своему знакомому. Шаблон для создания запроса выглядит так: «кто, что делает, дополнительные детали». Например:

  1. Одинокий клен, стоящий на лугу под звездным небом.
  2. Дорожный затор в большом городе солнечным днем.
  3. Пушистая белая кошка с длинными усами сидит на диване в светлой комнате с обоями синего цвета.
  4. Автомобиль Toyota Mark II входит в поворот в дрифте на гоночном треке с большим количеством дыма из-под колес.

В конце можно указать пожелания к стилю видео. Например, «в стиле аниме 80-х годов, насыщенные цвета, рисовал Акира Торияма». Но в большинстве нейросетей есть отдельное меню для выбора стилей. Также у некоторых сервисов есть особые ключевые фразы. Например, у Pika одна из таких — dash camera zoom. Можно прописать направление, куда будет двигаться «камера», и нейросеть учтет его при генерации ролика. Узнать ключевые фразы можно на сайте нейросети в разделе FAQ.

Трейлер несуществующего фильма, выполненный в нейросетях Leonardo.ai и Runway

Другая важная составляющая красивого ролика — негативный промпт. Он исключает что-то из результата. Например, промпт описывает пирата, но нейросеть всегда изображает его в образе Джека Воробья. Чтобы это исправить, можно написать негативный промпт в виде «Джек Воробей».

Видео, стилизованное с помощью Stable Video

Некоторые нейросети предлагают выбрать сид (seed). Это «точка отсчета», с которой сервис начинает генерировать видео. Например, если на разных ПК выбрать один и тот же сид, а потом ввести одинаковый запрос, то итоговые ролики будут идентичны. Если вам не нравится результат генерации, но запрос составлен правильно, то поменяйте сид на другой.

Ролики, созданные Sora с примерами промптов

В этом году ожидается выход нейросети для генерации видео от создателей ChatGPT — компании OpenAI. Сейчас новинку тестируют в закрытом режиме, поэтому примеров работы пока мало, но они часто выглядят лучше результата любой существующей нейросети. До выхода Sora можно воспользоваться другими сервисами.

Лучшие ИИ-сервисы для создания видео

Реалистичный генератор видео

Runway

Ссылка на сайт

Одна из первых нейросетей для создания видео по текстовому описанию. Работает через сайт и позволяет выполнить несколько генераций бесплатно. Но иногда сервис перегружен и создать видео с помощью нейросети нельзя. В этом случае попробуйте через несколько часов. Обычно в полдень по Москве сайт работает стабильно. Чтобы сделать видео, зарегистрируйтесь на сайте или войдите через Google-аккаунт, Apple ID или SSO и выберите Try Gen-2.

img

Затем введите текстовый запрос в поле ввода. Описание можно сопроводить фотографией, на которую нейросеть будет ориентироваться при создании ролика. Бесплатный период отсчитывается по секундам. Вначале запас составляет 70 секунд, а после каждой генерации уменьшается на длину видео — 4 секунды.

img

Чтобы запустить создание ролика, нажмите кнопку Generate. Продолжительность генерации зависит от загрузки сервера. Если времени нужно слишком много, то сайт можно закрыть — процесс не прервется. Результат будет доступен во вкладке слева на главной странице под названием All Assets.

img

Runaway умеет заставлять людей на фото или видео говорить (в том числе и на русском языке). Для того чтобы попробовать эту функцию, на стартовом экране нажмите кнопку Try Lip Sync. В окне ввода напишите текст, который будет произносить человек на фото, а сам снимок перетащите во вкладку Add Face.

Также фото можно озвучить не с помощью текста, а аудиозаписью. Ее можно записать самостоятельно по кнопке Record Audio. А чтобы загрузить готовую, нажмите Upload audio file. Голоса можно выбрать в меню слева от добавленной фотографии. Для начала генерации нажмите кнопку Generate. Бесплатный лимит вычисляется по кредитам, баланс которых указан в правом верхнем углу.

img

Последняя функция Runaway — глубокое редактирование видео. Например, нейросеть может превратить человека на фото в вязаную игрушку, и при этом она будет делать все то же самое, что происходило в исходном файле. Функция доступна по кнопке Try Gen-1. В панель управления перетащите исходный ролик, а справа выберите шаблон по фото или предложенному пресету. Для того чтобы описать стиль самостоятельно, нажмите кнопку Prompt и введите, например: a cucumber man. Если в видео есть человек, он должен превратиться в огурец.

img

Платных подписок четыре: они стоят от $12 до $125 в месяц и предлагают более продолжительные ролики вплоть до 16 секунд, увеличенное количество секунд и кредитов, а также облако до 500 ГБ, нужное для хранения результатов генерации и пользовательских исходников.

Нейросеть от российских разработчиков

Kandinsky Video

Ссылка на сайт

Нейросеть для видео от «Сбера», которая создает ролики по 7 секунд по текстовому описанию. Доступна через сайт Fusion Brain и Telegram, но в последнем нужно подать заявку на доступ, а через сайт сервис доступен сразу после регистрации. Для начала работы с платформой нажмите кнопку «Создать» в правом верхнем углу экрана, а затем выберите вкладку «Видео» на панели слева.

img

После этого откроется рабочая область. Можно создать анимацию и видео. Последнее доступно с соотношением 1:1 и разрешением 512×512 пикселей, 9:16 и 384×640 (вертикальное) и 16:9 (640×384). Введите описание ролика в поле ввода и нажмите соответствующую кнопку справа. Другая кнопка (в правом верхнем углу) позволяет загрузить результат генерации на устройство.

about
about

В режиме создания анимации нейросеть бесшовно сливает две картинки в одну. Сначала нужно загрузить два изображения, которые будут переходить одно в другое. Ниже поля ввода можно выбрать направление камеры по небольшому превью. Результат генерации тоже можно скачать.

Одна из самых мощных доступных нейросетей для создания видео

Pika

Ссылка на сайт

Перед началом работы нужно зарегистрироваться, но с этим могут возникнуть проблемы: после подтверждения регистрации через электронную почту некоторое время нельзя будет войти под своим логином и паролем. Но через 10-20 минут все наладится. Для создания ролика опишите его в поле ввода на главной странице.

img

Если активировать ползунок Sound effects, то ролик будет сопровождать сгенерированный саундтрек, а по кнопке Styles можно получить доступ к предустановленным стилям. Например, если выбрать Anime, то получится короткометражка в стиле японской анимации.

img

Если вдобавок к промпту загрузить фото или видео, то появится кнопка Lip sync. Она делает так, чтобы человек на видео или фото произносил ваш текст. После ее нажатия откроется панель настройки того, что именно будет говорить человек и каким голосом.

img

После создания видео его можно отредактировать: добавить еще 4 секунды, расширить кадр или выбрать другие ролики, которые предложила нейросеть на основе запроса. Всего Pika предоставляет четыре варианта в разном исполнении. Если ни один не нравится, можно воспользоваться расширенными настройками. Чтобы открыть их, нажмите кнопку под правым нижним углом поля ввода. Там можно ввести негативный промпт, установить fps, сид и процент соответствия результата тексту (повысить или понизить степень творчества нейросети).

img

Платная подписка повышает дневной лимит генераций, удаляет водяной знак, увеличивает разрешение роликов и их длину. Стоимость варьируется от $10 до $70 в месяц. Чем выше цена, тем больше лимиты.

Видео с тонкой настройкой ракурса

Genmo

Ссылка на сайт

Нейросеть позволяет создавать ролики по текстовому описанию со спецэффектами и тонкой настройкой угла камеры. Войти можно через учетную запись Google и Discord. На главной странице опишите будущий ролик в поле ввода, нажмите кнопку Submit — и сервис создаст видео. Результат можно скачать или поделиться им. Также ролик можно создать на основе фотографии. Для этого нажмите кнопку Upload Image чуть ниже поля ввода.

img

Там же есть кнопка Camera Motion и FX. Первая позволяет тонко настроить угол наклона и зрения камеры, а вторая — добавить эффекты. Например, можно сделать так, чтобы кадр был не статичен, а двигался по спирали. Но это не всегда работает. В день дается 100 бесплатных очков генерации. Для изменения лимита нужно купить подписку Turbo за $10. Она увеличивает лимит в 10 раз, удаляет водяной знак и предоставляет приоритетный доступ к новым ИИ-моделям.

img

Также Genmo умеет создавать анимации. Функция доступна во вкладке Labs и называется Animate, но пока находится в тестовом режиме. В качестве первого кадра можно загрузить свою картинку. Отталкиваясь от нее, нейросеть создаст анимацию по текстовому запросу. Вдобавок можно ввести негативный промпт.

img

Еще во вкладке Labs есть Genmo Chat. Это нейросеть, создание видео в которой превращается в диалог с ботом. Он делает все вышеперечисленное, но только с помощью поля ввода и текстовых команд пользователя. Функция в режиме тестирования, поэтому в процессе работы могут возникать ошибки.

Свободная нейросеть для создания видео

Stable Video

Ссылка на сайт

Это нейросеть-генератор видео, доступная для развертывания на ПК. Но также есть веб-версия. Она позволяет создавать видео длительностью четыре секунды из предварительно сгенерированной картинки. Также создать ролик можно из заранее загруженного фото во вкладке Image. В запасе три бесплатных попытки генерации из только что сделанной картинки и четыре — из загруженного изображения.

about
about
about

Дополнительно можно выбрать соотношение сторон ролика и его стиль. В меню редактирования уже созданного видео есть возможность настроить угол зрения камеры и ее движение. Помните, что ваши сгенерированные видео может увидеть любой зарегистрированный участник платформы.

ИИ для редактирования роликов на смартфоне

Mimic

Это нейросеть для создания видео из селфи в виде приложения для iOS и Android: человек на фото будет петь выбранную песню, произносить диалог из фильма, повторять мем и многое другое. Для этого в библиотеке приложения есть множество шаблонов, разделенных на категории.

Для начала нужно загрузить селфи, а потом подобрать в библиотеке подходящий шаблон по превью. После выбора фотография преобразится, и человек на ней будет делать показанное в превью действие. В бесплатной версии можно воспользоваться шаблонами без приписки Pro. При этом почти на каждом шагу приложение будет предлагать купить подписку, но окно можно закрыть нажатием крестика в левом верхнем углу.

Подписка стоит 399 рублей в неделю или 2290 рублей в год. Она предлагает доступ к Pro-шаблонам, видео без водяного знака, расширенные наборы саундтреков, приложение без рекламы и улучшенное качество роликов.

Та самая нейросеть из «ТикТока»

Kaiber

Ссылка на сайт

ИИ-сервис для создания видео из фото. Он принимает пользовательскую картинку и текстовое описание результата, а после обработки выдает ролик продолжительностью от 3 до 6 секунд. Есть три режима работы:

  1. Flipbook: покадровое изменение картинки в видео, как при быстром пролистывании блокнота с пошаговыми рисунками (в США их так и называют — «флипбук»).
  2. Motion: плавная анимация из картинки.
  3. Transform: изменение стиля существующего видео.

В бесплатном режиме ИИ-генератор видео предлагает несколько кредитов, которые тратятся на каждый ввод промпта. Стоимость ролика зависит от его продолжительности. Увеличить количество кредитов можно с помощью подписки.

about
about
about
about

Цена составляет от $5 до $10 в месяц. Чем дороже, тем длиннее видео можно создавать. Также подписка влияет на разрешение видео, позволяет выбрать любое соотношение сторон и предоставляет доступ к бета-функциям платформы.

Много стилей и продвинутый редактор видео

Domo AI

Ссылка на сайт

Нейросеть для создания видео по тексту с доступом через сайт или Discord. Умеет создавать видео в различных стилях и трансформировать фотографии в короткие ролики. От других нейросетей Domo AI отличается большим количеством стилей, а также возможностью удалить фон в видео и выбрать продолжительность ролика от 3 до 10 секунд в бесплатном режиме. Для начала работы кликните на основное окно программы и выберите в памяти компьютера ролик продолжительностью не более 60 секунд и размером не более 50 МБ.

about
about
about

На панели управления слева можно настроить продолжительность ролика, выбрать приоритет промпта или исходного видео и удалить фон (Screen Keying). Стиль можно выбрать во вкладке Styles. Они разбиты по категориям и могут преобразовать ролик в аниме, 3D-мультфильм, пиксель-арт, работу Ван Гога и другие стили. Причем некоторые из них повторяются, но результат при этом будет разный. Это связано с тем, что в основе каждого стиля лежит отдельная ИИ-модель.

Швейцарский нож для стилизации изображений

Leonardo AI

Ссылка на сайт

Нейросеть по созданию видео, которая умеет преобразовывать картинки в короткие ролики. Можно выбрать изображения и указать, насколько подвижными будут объекты на них. В качестве исходника есть возможность использовать как чужие работы прямо с платформы Leonardo.ai, так и свои. На сайте написано, что можно загрузить фото с компьютера, но на деле почему-то нет.

img

Сгенерировать исходник можно во вкладке Image Generation. В числе параметров есть разрешение картинки вплоть до 1360×768 пикселей, соотношение сторон, исходная модель и показатель фотореалистичности. Также есть возможность добавить «элементы». Так на платформе называют продвинутые стили, позволяющие полностью поменять внешний вид итогового изображения. Например, сделать из него контурную раскраску.

img

Обычные стили доступны в выпадающем меню рядом с кнопкой выбора модели. По умолчанию включен стиль Dynamic. Вместо него можно активировать аниме-стиль, фотореализм, рейтрейсинг и другое. Бесплатно дается 150 токенов на генерации в день (одна генерация отнимает 12 токенов). По цене от $10 до $48 можно купить подписку с максимальным числом токенов (60 000 в месяц).

Итог

Пока нейросети для создания видео работают неидеально: выдают много артефактов, нереалистичные объекты или явления. Но и генераторы изображений тоже не сразу стали выдавать реалистичные картинки. Однако уже сейчас можно получить хороший результат, если составить правильный промпт. Лучшие нейросети — это Pika, Runway и Stable Video. Они чаще других выдают реалистичные ролики с хорошей имитацией стилей. Причем последняя нейросеть открыта для других разработчиков, поэтому именно на ее основе создаются другие генераторы видео, обученные на определенных данных.

Например, любой может обучить модель на аниме-видео, и она будет качественнее других выдавать ролики именно в аниме-стиле. Поэтому, если вы хотите просто поиграться с нейросетью, то опробуйте Pika, Runway и Stable Video. Если же у вас есть определенная цель по созданию ролика, то составьте качественный промпт и введите его в каждую из перечисленных выше нейросетей.

Любите делиться своим мнением о технике? Тогда напишите обзор товара в «Эльдоблоге» — и получите до 1000 бонусов на новые покупки!

Комментарии

К данной публикации еще нет комментариев