Пока OpenAI не открыла доступ к лучшей, по слухам, нейросети для генерации видео Sora, мы подобрали девять ИИ-сервисов, с помощью которых тоже можно создавать видеоролики по текстовому описанию. Есть возможность освежить сторисы или рилсы, сделать селфи в аниме- или киберпанк-стиле или изменить уже существующие видео до неузнаваемости.
Содержание
Как использовать нейросети для создания видео
Создание видео по текстовому описанию — это перевод мыслей сначала в текст, а потом в короткий ролик. Есть несколько приемов, с помощью которых можно добиться максимального сходства «ролика» в воображении со сгенерированным видео.
Создание видео с помощью нейросети основано на промпте — это текстовой запрос на английском языке, включающий подробное описание ролика, который вы хотите получить. На основе промпта нейросети генерируют кадры и соединяют их в короткий ролик. Для удобства можно вводить запрос в переводчик на русском языке, а потом копировать его в нейросеть уже на английском.
Чтобы получить качественное видео, представьте, что описываете ролик, который уже видели, своему знакомому. Шаблон для создания запроса выглядит так: «кто, что делает, дополнительные детали». Например:
- Одинокий клен, стоящий на лугу под звездным небом.
- Дорожный затор в большом городе солнечным днем.
- Пушистая белая кошка с длинными усами сидит на диване в светлой комнате с обоями синего цвета.
- Автомобиль Toyota Mark II входит в поворот в дрифте на гоночном треке с большим количеством дыма из-под колес.
В конце можно указать пожелания к стилю видео. Например, «в стиле аниме 80-х годов, насыщенные цвета, рисовал Акира Торияма». Но в большинстве нейросетей есть отдельное меню для выбора стилей. Также у некоторых сервисов есть особые ключевые фразы. Например, у Pika одна из таких — dash camera zoom. Можно прописать направление, куда будет двигаться «камера», и нейросеть учтет его при генерации ролика. Узнать ключевые фразы можно на сайте нейросети в разделе FAQ.
Другая важная составляющая красивого ролика — негативный промпт. Он исключает что-то из результата. Например, промпт описывает пирата, но нейросеть всегда изображает его в образе Джека Воробья. Чтобы это исправить, можно написать негативный промпт в виде «Джек Воробей».
Некоторые нейросети предлагают выбрать сид (seed). Это «точка отсчета», с которой сервис начинает генерировать видео. Например, если на разных ПК выбрать один и тот же сид, а потом ввести одинаковый запрос, то итоговые ролики будут идентичны. Если вам не нравится результат генерации, но запрос составлен правильно, то поменяйте сид на другой.
В этом году ожидается выход нейросети для генерации видео от создателей ChatGPT — компании OpenAI. Сейчас новинку тестируют в закрытом режиме, поэтому примеров работы пока мало, но они часто выглядят лучше результата любой существующей нейросети. До выхода Sora можно воспользоваться другими сервисами.
Ранее мы рассказывали:
14 лучших нейросетей для замены лица на фото и видео
Лучшие ИИ-сервисы для создания видео
Runway
Одна из первых нейросетей для создания видео по текстовому описанию. Работает через сайт и позволяет выполнить несколько генераций бесплатно. Но иногда сервис перегружен и создать видео с помощью нейросети нельзя. В этом случае попробуйте через несколько часов. Обычно в полдень по Москве сайт работает стабильно. Чтобы сделать видео, зарегистрируйтесь на сайте или войдите через Google-аккаунт, Apple ID или SSO и выберите Try Gen-2.
Затем введите текстовый запрос в поле ввода. Описание можно сопроводить фотографией, на которую нейросеть будет ориентироваться при создании ролика. Бесплатный период отсчитывается по секундам. Вначале запас составляет 70 секунд, а после каждой генерации уменьшается на длину видео — 4 секунды.
Чтобы запустить создание ролика, нажмите кнопку Generate. Продолжительность генерации зависит от загрузки сервера. Если времени нужно слишком много, то сайт можно закрыть — процесс не прервется. Результат будет доступен во вкладке слева на главной странице под названием All Assets.
Runaway умеет заставлять людей на фото или видео говорить (в том числе и на русском языке). Для того чтобы попробовать эту функцию, на стартовом экране нажмите кнопку Try Lip Sync. В окне ввода напишите текст, который будет произносить человек на фото, а сам снимок перетащите во вкладку Add Face.
Также фото можно озвучить не с помощью текста, а аудиозаписью. Ее можно записать самостоятельно по кнопке Record Audio. А чтобы загрузить готовую, нажмите Upload audio file. Голоса можно выбрать в меню слева от добавленной фотографии. Для начала генерации нажмите кнопку Generate. Бесплатный лимит вычисляется по кредитам, баланс которых указан в правом верхнем углу.
Последняя функция Runaway — глубокое редактирование видео. Например, нейросеть может превратить человека на фото в вязаную игрушку, и при этом она будет делать все то же самое, что происходило в исходном файле. Функция доступна по кнопке Try Gen-1. В панель управления перетащите исходный ролик, а справа выберите шаблон по фото или предложенному пресету. Для того чтобы описать стиль самостоятельно, нажмите кнопку Prompt и введите, например: a cucumber man. Если в видео есть человек, он должен превратиться в огурец.
Платных подписок четыре: они стоят от $12 до $125 в месяц и предлагают более продолжительные ролики вплоть до 16 секунд, увеличенное количество секунд и кредитов, а также облако до 500 ГБ, нужное для хранения результатов генерации и пользовательских исходников.
Kandinsky Video
Нейросеть для видео от «Сбера», которая создает ролики по 7 секунд по текстовому описанию. Доступна через сайт Fusion Brain и Telegram, но в последнем нужно подать заявку на доступ, а через сайт сервис доступен сразу после регистрации. Для начала работы с платформой нажмите кнопку «Создать» в правом верхнем углу экрана, а затем выберите вкладку «Видео» на панели слева.
После этого откроется рабочая область. Можно создать анимацию и видео. Последнее доступно с соотношением 1:1 и разрешением 512×512 пикселей, 9:16 и 384×640 (вертикальное) и 16:9 (640×384). Введите описание ролика в поле ввода и нажмите соответствующую кнопку справа. Другая кнопка (в правом верхнем углу) позволяет загрузить результат генерации на устройство.
В режиме создания анимации нейросеть бесшовно сливает две картинки в одну. Сначала нужно загрузить два изображения, которые будут переходить одно в другое. Ниже поля ввода можно выбрать направление камеры по небольшому превью. Результат генерации тоже можно скачать.
Ранее мы рассказывали:
Еще один шаг в будущее: все про новую версию ChatGPT-4o
Pika
Перед началом работы нужно зарегистрироваться, но с этим могут возникнуть проблемы: после подтверждения регистрации через электронную почту некоторое время нельзя будет войти под своим логином и паролем. Но через 10-20 минут все наладится. Для создания ролика опишите его в поле ввода на главной странице.
Если активировать ползунок Sound effects, то ролик будет сопровождать сгенерированный саундтрек, а по кнопке Styles можно получить доступ к предустановленным стилям. Например, если выбрать Anime, то получится короткометражка в стиле японской анимации.
Если вдобавок к промпту загрузить фото или видео, то появится кнопка Lip sync. Она делает так, чтобы человек на видео или фото произносил ваш текст. После ее нажатия откроется панель настройки того, что именно будет говорить человек и каким голосом.
После создания видео его можно отредактировать: добавить еще 4 секунды, расширить кадр или выбрать другие ролики, которые предложила нейросеть на основе запроса. Всего Pika предоставляет четыре варианта в разном исполнении. Если ни один не нравится, можно воспользоваться расширенными настройками. Чтобы открыть их, нажмите кнопку под правым нижним углом поля ввода. Там можно ввести негативный промпт, установить fps, сид и процент соответствия результата тексту (повысить или понизить степень творчества нейросети).
Платная подписка повышает дневной лимит генераций, удаляет водяной знак, увеличивает разрешение роликов и их длину. Стоимость варьируется от $10 до $70 в месяц. Чем выше цена, тем больше лимиты.
Genmo
Нейросеть позволяет создавать ролики по текстовому описанию со спецэффектами и тонкой настройкой угла камеры. Войти можно через учетную запись Google и Discord. На главной странице опишите будущий ролик в поле ввода, нажмите кнопку Submit — и сервис создаст видео. Результат можно скачать или поделиться им. Также ролик можно создать на основе фотографии. Для этого нажмите кнопку Upload Image чуть ниже поля ввода.
Там же есть кнопка Camera Motion и FX. Первая позволяет тонко настроить угол наклона и зрения камеры, а вторая — добавить эффекты. Например, можно сделать так, чтобы кадр был не статичен, а двигался по спирали. Но это не всегда работает. В день дается 100 бесплатных очков генерации. Для изменения лимита нужно купить подписку Turbo за $10. Она увеличивает лимит в 10 раз, удаляет водяной знак и предоставляет приоритетный доступ к новым ИИ-моделям.
Также Genmo умеет создавать анимации. Функция доступна во вкладке Labs и называется Animate, но пока находится в тестовом режиме. В качестве первого кадра можно загрузить свою картинку. Отталкиваясь от нее, нейросеть создаст анимацию по текстовому запросу. Вдобавок можно ввести негативный промпт.
Еще во вкладке Labs есть Genmo Chat. Это нейросеть, создание видео в которой превращается в диалог с ботом. Он делает все вышеперечисленное, но только с помощью поля ввода и текстовых команд пользователя. Функция в режиме тестирования, поэтому в процессе работы могут возникать ошибки.
Stable Video
Это нейросеть-генератор видео, доступная для развертывания на ПК. Но также есть веб-версия. Она позволяет создавать видео длительностью четыре секунды из предварительно сгенерированной картинки. Также создать ролик можно из заранее загруженного фото во вкладке Image. В запасе три бесплатных попытки генерации из только что сделанной картинки и четыре — из загруженного изображения.
Дополнительно можно выбрать соотношение сторон ролика и его стиль. В меню редактирования уже созданного видео есть возможность настроить угол зрения камеры и ее движение. Помните, что ваши сгенерированные видео может увидеть любой зарегистрированный участник платформы.
Mimic
Это нейросеть для создания видео из селфи в виде приложения для iOS и Android: человек на фото будет петь выбранную песню, произносить диалог из фильма, повторять мем и многое другое. Для этого в библиотеке приложения есть множество шаблонов, разделенных на категории.
Для начала нужно загрузить селфи, а потом подобрать в библиотеке подходящий шаблон по превью. После выбора фотография преобразится, и человек на ней будет делать показанное в превью действие. В бесплатной версии можно воспользоваться шаблонами без приписки Pro. При этом почти на каждом шагу приложение будет предлагать купить подписку, но окно можно закрыть нажатием крестика в левом верхнем углу.
Подписка стоит 399 рублей в неделю или 2290 рублей в год. Она предлагает доступ к Pro-шаблонам, видео без водяного знака, расширенные наборы саундтреков, приложение без рекламы и улучшенное качество роликов.
Kaiber
ИИ-сервис для создания видео из фото. Он принимает пользовательскую картинку и текстовое описание результата, а после обработки выдает ролик продолжительностью от 3 до 6 секунд. Есть три режима работы:
- Flipbook: покадровое изменение картинки в видео, как при быстром пролистывании блокнота с пошаговыми рисунками (в США их так и называют — «флипбук»).
- Motion: плавная анимация из картинки.
- Transform: изменение стиля существующего видео.
В бесплатном режиме ИИ-генератор видео предлагает несколько кредитов, которые тратятся на каждый ввод промпта. Стоимость ролика зависит от его продолжительности. Увеличить количество кредитов можно с помощью подписки.
Цена составляет от $5 до $10 в месяц. Чем дороже, тем длиннее видео можно создавать. Также подписка влияет на разрешение видео, позволяет выбрать любое соотношение сторон и предоставляет доступ к бета-функциям платформы.
Domo AI
Нейросеть для создания видео по тексту с доступом через сайт или Discord. Умеет создавать видео в различных стилях и трансформировать фотографии в короткие ролики. От других нейросетей Domo AI отличается большим количеством стилей, а также возможностью удалить фон в видео и выбрать продолжительность ролика от 3 до 10 секунд в бесплатном режиме. Для начала работы кликните на основное окно программы и выберите в памяти компьютера ролик продолжительностью не более 60 секунд и размером не более 50 МБ.
На панели управления слева можно настроить продолжительность ролика, выбрать приоритет промпта или исходного видео и удалить фон (Screen Keying). Стиль можно выбрать во вкладке Styles. Они разбиты по категориям и могут преобразовать ролик в аниме, 3D-мультфильм, пиксель-арт, работу Ван Гога и другие стили. Причем некоторые из них повторяются, но результат при этом будет разный. Это связано с тем, что в основе каждого стиля лежит отдельная ИИ-модель.
Leonardo AI
Нейросеть по созданию видео, которая умеет преобразовывать картинки в короткие ролики. Можно выбрать изображения и указать, насколько подвижными будут объекты на них. В качестве исходника есть возможность использовать как чужие работы прямо с платформы Leonardo.ai, так и свои. На сайте написано, что можно загрузить фото с компьютера, но на деле почему-то нет.
Сгенерировать исходник можно во вкладке Image Generation. В числе параметров есть разрешение картинки вплоть до 1360×768 пикселей, соотношение сторон, исходная модель и показатель фотореалистичности. Также есть возможность добавить «элементы». Так на платформе называют продвинутые стили, позволяющие полностью поменять внешний вид итогового изображения. Например, сделать из него контурную раскраску.
Обычные стили доступны в выпадающем меню рядом с кнопкой выбора модели. По умолчанию включен стиль Dynamic. Вместо него можно активировать аниме-стиль, фотореализм, рейтрейсинг и другое. Бесплатно дается 150 токенов на генерации в день (одна генерация отнимает 12 токенов). По цене от $10 до $48 можно купить подписку с максимальным числом токенов (60 000 в месяц).
Итог
Пока нейросети для создания видео работают неидеально: выдают много артефактов, нереалистичные объекты или явления. Но и генераторы изображений тоже не сразу стали выдавать реалистичные картинки. Однако уже сейчас можно получить хороший результат, если составить правильный промпт. Лучшие нейросети — это Pika, Runway и Stable Video. Они чаще других выдают реалистичные ролики с хорошей имитацией стилей. Причем последняя нейросеть открыта для других разработчиков, поэтому именно на ее основе создаются другие генераторы видео, обученные на определенных данных.
Например, любой может обучить модель на аниме-видео, и она будет качественнее других выдавать ролики именно в аниме-стиле. Поэтому, если вы хотите просто поиграться с нейросетью, то опробуйте Pika, Runway и Stable Video. Если же у вас есть определенная цель по созданию ролика, то составьте качественный промпт и введите его в каждую из перечисленных выше нейросетей.
Ранее мы рассказывали:
5 лучших способов поиска оригинала или источника фотографии в интернете
