ElevenLabs запустила модели Eleven Realtime для живого общения с ИИ без задержек

Компания ElevenLabs анонсировала запуск семейства моделей Eleven Realtime (https://elevenlabs.io/realtime), предназначенных для голосового взаимодействия без задержек. Архитектура новинки построена по принципу Speech-to-Speech: система напрямую анализирует поступающую речь и генерирует звуковой ответ, минуя промежуточный этап перевода голоса в текст и обратно. Это устраняет традиционную медлительность голосовых интерфейсов и приближает разговор с искусственным интеллектом к темпу реального человеческого общения.

Новая архитектура взаимодействия без промежуточного текста

Стандартные голосовые ассистенты используют каскад из трех отдельных систем: распознавание речи (STT), обработка запроса языковой моделью (LLM) и синтез звука (TTS). Каждое звено этой цепочки прибавляет время ожидания, из-за чего боты отвечают с неестественными задержками и теряют плавность диалога.

Технология Speech-to-Speech в моделях Eleven Realtime устраняет лишние преобразования данных. Обработка аудиопотока напрямую позволяет алгоритмам быстрее считывать паузы собеседника, точнее улавливать контекст высказываний и практически мгновенно возвращать речевой ответ.

Realtime v1 Max: рекордная задержка и понимание задач

Флагманом линейки стала модель Eleven Realtime v1 Max. Ее время до начала ответа составляет всего 0,57 секунды. В бенчмарке Big Bench Audio, который проверяет способность ИИ воспринимать устную речь на слух и логически рассуждать, модель показала результат 98,8%. В компании отмечают, что среди участников рейтинга платформы Artificial Analysis на сегодняшний день нет моделей с аналогичным сочетанием скорости отклика и точности.

Модификация v1 Max спроектирована под ресурсоемкие коммерческие сценарии:

• работа в качестве виртуальных сотрудников первой и второй линий техподдержки;
• решение сложных многоэтапных пользовательских задач и оформление заявок;
• вызов внешних цифровых инструментов, API и сервисов прямо во время беседы;
• быстрый поиск актуальных сведений в корпоративных источниках без пауз в разговоре.

Realtime v1 Mini для недорогих и естественных диалогов

Параллельно представлена облегченная версия — Realtime v1 Mini. Она ориентирована на создание экономичных ассистентов, для которых критически важна живая динамика беседы.

Модель v1 Mini умеет корректно определять моменты завершения фраз, адекватно реагирует на прерывания со стороны человека и не сбивается из-за коротких реплик слушателя вроде подтверждающего «угу». Это исключает неловкие наложения голосов и делает диалог естественным.

Доступность и интеграция через ElevenAgents

Обе версии моделей уже запущены внутри платформы ElevenAgents. Готовых голосовых агентов на базе новых алгоритмов можно разворачивать в различных каналах коммуникации:

• входящая и исходящая телефония, а также внешние контакт-центры;
• интерактивные голосовые виджеты для корпоративных веб-сайтов;
• каналы мессенджеров, включая WhatsApp.

Сервис поддерживает подключение пользовательских баз знаний, гибкую настройку правил и ограничений поведения агента, а также инструменты для нагрузочного тестирования и мониторинга качества работы в режиме реального времени.