ElevenLabs представила Eleven v4 с управлением эмоциями и клонированием голоса

ElevenLabs представила новое поколение моделей синтеза речи Eleven v4 и Eleven v4 Turbo. Компания полностью переработала архитектуру моделей и сделала акцент на актерской подаче, эмоциональной выразительности и управлении голосом непосредственно через текст. Новые модели предназначены как для создания озвучки, так и для интерактивных сценариев, где важна естественность речи и скорость генерации.

Управление эмоциями и сценой через текст

Eleven v4 лучше учитывает контекст сцены, интонацию и роли разных персонажей. В текст можно добавлять специальные команды, задающие манеру произнесения или происходящие звуковые события. Например, инструкции [whispers], [laughs] и [shouts] позволяют управлять подачей реплик без отдельного ручного редактирования аудио.

Модель также лучше удерживает заданные инструкции и естественнее переключается между несколькими говорящими. Это особенно важно для материалов с диалогами и персонажами, где одной точности произношения недостаточно: итоговая озвучка должна учитывать роль и контекст каждой реплики.

Клонирование голосов

Отдельное направление обновления — клонирование голоса. Eleven v4 поддерживает Instant Voice Clone, который создается на основе короткого образца записи. Для более точного воспроизведения предусмотрен Professional Voice Clone.

В компании отмечают, что Professional Voice Clone точнее сохраняет характеристики исходного голоса, включая тембр, манеру речи, громкость и акцент. Это расширяет возможности использования синтетической речи там, где важно сохранить узнаваемую голосовую подачу.

Eleven v4 и Eleven v4 Turbo: различия

ElevenLabs предлагает две версии модели, рассчитанные на разные задачи. Обычная Eleven v4 ориентирована на озвучку видео, аудиокниг, рекламы и персонажей. Eleven v4 Turbo предназначена для голосовых агентов и других сценариев реального времени, в которых критична минимальная задержка. Для Turbo компания заявляет медианную задержку около 100 мс.

Таким образом, выбор версии зависит прежде всего от сценария использования: Eleven v4 рассчитана на создание выразительной готовой озвучки, тогда как Turbo сфокусирована на интерактивном взаимодействии и скорости ответа.

Более 90 языков и доступность

Eleven v4 расширяет языковую поддержку: модель работает более чем с 90 языками, включая русский. При этом голос может естественно говорить на языке, отличном от языка исходной записи, что делает клонирование более универсальным для многоязычных проектов.

Eleven v4 и Eleven v4 Turbo уже доступны в ElevenCreative, ElevenAgents и через API. Подробнее о моделях и их возможностях ElevenLabs рассказывает на официальной странице Eleven v4.