
ElevenLabs представила Eleven v4 и v4 Turbo с улучшенным управлением эмоциями, клонированием голосов, поддержкой более 90 языков и режимом для работы в реальном времени.
ElevenLabs представила новое поколение моделей синтеза речи Eleven v4 и Eleven v4 Turbo. Компания полностью переработала архитектуру моделей и сделала акцент на актерской подаче, эмоциональной выразительности и управлении голосом непосредственно через текст. Новые модели предназначены как для создания озвучки, так и для интерактивных сценариев, где важна естественность речи и скорость генерации.
Eleven v4 лучше учитывает контекст сцены, интонацию и роли разных персонажей. В текст можно добавлять специальные команды, задающие манеру произнесения или происходящие звуковые события. Например, инструкции [whispers], [laughs] и [shouts] позволяют управлять подачей реплик без отдельного ручного редактирования аудио.
Модель также лучше удерживает заданные инструкции и естественнее переключается между несколькими говорящими. Это особенно важно для материалов с диалогами и персонажами, где одной точности произношения недостаточно: итоговая озвучка должна учитывать роль и контекст каждой реплики.
Отдельное направление обновления — клонирование голоса. Eleven v4 поддерживает Instant Voice Clone, который создается на основе короткого образца записи. Для более точного воспроизведения предусмотрен Professional Voice Clone.
В компании отмечают, что Professional Voice Clone точнее сохраняет характеристики исходного голоса, включая тембр, манеру речи, громкость и акцент. Это расширяет возможности использования синтетической речи там, где важно сохранить узнаваемую голосовую подачу.
ElevenLabs предлагает две версии модели, рассчитанные на разные задачи. Обычная Eleven v4 ориентирована на озвучку видео, аудиокниг, рекламы и персонажей. Eleven v4 Turbo предназначена для голосовых агентов и других сценариев реального времени, в которых критична минимальная задержка. Для Turbo компания заявляет медианную задержку около 100 мс.
Таким образом, выбор версии зависит прежде всего от сценария использования: Eleven v4 рассчитана на создание выразительной готовой озвучки, тогда как Turbo сфокусирована на интерактивном взаимодействии и скорости ответа.
Eleven v4 расширяет языковую поддержку: модель работает более чем с 90 языками, включая русский. При этом голос может естественно говорить на языке, отличном от языка исходной записи, что делает клонирование более универсальным для многоязычных проектов.
Eleven v4 и Eleven v4 Turbo уже доступны в ElevenCreative, ElevenAgents и через API. Подробнее о моделях и их возможностях ElevenLabs рассказывает на официальной странице Eleven v4.
Бесплатные промпты для нейросетей на русском, новости ИИ и уроки по генерации фото, видео и текста, доступные на всех площадках.