Mirelo SFX 2.0 заменяет звуковую дорожку видео, сохраняя оригинальные диалоги

Mirelo представила SFX 2.0 — обновлённую ИИ-модель для автоматического создания звуковых эффектов к готовым видео. Главное нововведение — возможность полностью заменить звуковое сопровождение ролика, сохранив оригинальные диалоги. Модель анализирует происходящее в кадре, генерирует синхронизированные с действиями звуки и помогает обновить аудиодорожку без повторного создания самого видео.

Как работает Mirelo SFX 2.0

Для работы с моделью достаточно загрузить готовый видеоролик. Mirelo SFX 2.0 анализирует визуальные события и создаёт подходящее звуковое сопровождение: шаги, удары, шум окружающей среды и другие эффекты, соответствующие происходящему на экране.

Особенность системы заключается в возможности заменить звуковую дорожку целиком, не затрагивая оригинальную речь. Модель также удаляет ненужную музыку и формирует новое звуковое окружение, согласованное с действиями персонажей и событиями в кадре.

Такой подход позволяет работать с аудио независимо от видеоряда. Если изображение уже готово, автору не требуется заново генерировать ролик только ради изменения звукового оформления. Это может быть полезно при создании короткометражных фильмов, рекламных материалов, игровых видео и другого контента, для которого важны точные звуковые акценты.

Обработка видео до 10 минут и согласованность звука

Mirelo SFX 2.0 поддерживает обработку роликов продолжительностью до 10 минут за один проход. Это позволяет создавать звуковое сопровождение не только для коротких фрагментов, но и для более продолжительных видео.

Отдельное внимание уделено согласованности звука между сценами. При смене кадров звуковое окружение сохраняет целостность, благодаря чему несколько последовательных эпизодов воспринимаются как части одного произведения, а не как набор независимых клипов.

Для видеомонтажа это означает возможность автоматизировать часть работы со звуковыми эффектами. Вместо ручного подбора каждого отдельного звука автор может использовать сгенерированную дорожку как основу, а затем при необходимости доработать результат.

Сохранение оригинальных диалогов особенно важно для видео с участием говорящих персонажей, интервью и сцен, где содержание речи имеет ключевое значение. При этом автоматическая генерация эффектов не отменяет необходимости проверять итоговый микс: соответствие звука изображению и качество общего звучания зависят от конкретного материала и задач проекта.

Сравнение с другими ИИ-моделями генерации звука

По данным слепых тестов Mirelo, участники предпочли звук, созданный SFX 2.0, решению Sony Woosh в 81% случаев, а Kling Foley — в 63% случаев. В сравнениях со встроенным звуком видеогенераторов модель также опередила Veo 3.1 Fast, Seedance 2.5 и другие системы.

Эти результаты указывают на потенциальную востребованность специализированной генерации звуковых эффектов в рабочих процессах с ИИ-видео. Однако речь идёт о тестах, проведённых компанией Mirelo: приведённые показатели сами по себе не гарантируют аналогичного результата для любого ролика и не заменяют независимой оценки качества.

Где доступна Mirelo SFX 2.0

Mirelo SFX 2.0 уже доступна в веб-редакторе, через API, MCP, а также на платформах Runway и Fal. Это позволяет использовать модель как в самостоятельной работе с видео, так и в интегрированных процессах создания контента.

Интеграции с Adobe Premiere Pro и DaVinci Resolve пока находятся в подготовке. Их появление может упростить включение автоматической генерации звуковых эффектов непосредственно в привычные монтажные процессы, но на данный момент эти интеграции нельзя считать доступными.

Подробнее о возможностях модели и вариантах использования можно узнать в официальном блоге Mirelo.