Pika выпустила открытую модель H3 Flex для генерации видео со звуком

Компания Pika выпустила новую открытую модель генерации видео H3 Flex, которая объединяет обработку текста, статичных изображений, видеофрагментов и звуковых дорожек в едином рабочем пространстве. Этот релиз существенно упрощает процесс создания генеративного видеоконтента: вместо использования разрозненных сервисов для анимации, переноса движений и озвучки авторы получают возможность собирать сложную сцену из нескольких источников в рамках одного запроса.

Мультимодальный синтез и адресация исходных материалов

Ключевым преимуществом H3 Flex является поддержка одновременной работы с несколькими типами медиафайлов. Пользователь может загрузить пакет исходников и точно распределить их роли в итоговом ролике. Архитектура модели способна одновременно принимать:

• до 9 изображений;
• до 3 видеоклипов;
• до 3 независимых аудиодорожек.

Управление источниками реализовано непосредственно в текстовом описании с помощью тегов @image1, @video1 и @audio1. Такой подход позволяет гибко деконструировать сцену. Например, автор может зафиксировать внешность персонажа с одной фотографии, окружение перенести со второго изображения, характер движений скопировать из готового видеофрагмента, а звук привязать из загруженного аудиофайла.

Автоматические сценарии и технические параметры роликов

Система избавляет от необходимости вручную настраивать режимы работы, анализируя состав вложений:

• текстовый запрос без файлов запускает генерацию видео по тексту;
• одиночное изображение активирует процесс анимации кадра;
• комплексный набор файлов переводит модель в режим композитинга, где материалы выступают опорными референсами.

На выходе H3 Flex формирует ролики продолжительностью от 5 до 15 секунд с синхронным аудиорядом. Звуковая составляющая включает в себя речь, шумовые эффекты и фоновое окружение. Модель поддерживает 11 вариантов соотношения сторон. Базовое разрешение составляет 480p и 768p, а для задач с повышенными требованиями к четкости через API доступно масштабирование (апскейл) до 4K.

Открытые веса, стоимость и доступ к модели

Выпуск H3 Flex с открытыми весами позволяет разработчикам и видеографам разворачивать инструмент на собственной инфраструктуре и интегрировать его в рабочие пайплайны.

Для интеграции в коммерческие продукты доступен API, где стоимость генерации начинается от $0,04 за секунду готового видео. Опробовать функционал модели можно в веб-интерфейсе Pika H3 Flex, а веса опубликованы на платформе Hugging Face.