Microsoft представила MAI-Transcribe-2-Streaming для быстрой расшифровки речи

Microsoft представила MAI-Transcribe-2-Streaming — модель для потоковой расшифровки речи в реальном времени. Она поддерживает 60 языков, автоматически определяет язык и, по данным тестов Artificial Analysis, заняла первое место по точности как промежуточной, так и финальной транскрипции.

Транскрипция начинается почти сразу

MAI-Transcribe-2-Streaming не ждёт завершения фразы. Первые варианты текста появляются примерно через 100 мс после начала речи, а затем модель уточняет расшифровку по мере поступления нового аудио.

Такой подход особенно важен для приложений, где текст нужен не только после окончания разговора, но и непосредственно во время него. Потоковая обработка позволяет системе быстрее реагировать на слова пользователя и использовать полученную информацию ещё до завершения его высказывания.

Возможности для голосовых агентов

Одним из основных сценариев Microsoft называет голосовых агентов. Пока пользователь продолжает говорить, агент уже может анализировать запрос и запускать необходимые инструменты.

По внутренним тестам Microsoft, слова появляются в транскрипте примерно в два раза быстрее, чем у ближайшего конкурента. При этом заявленные результаты по точности относятся к тестам Artificial Analysis, где модель заняла первое место как по промежуточной, так и по финальной расшифровке.

Microsoft обновила и синтез речи

Одновременно компания представила MAI-Voice-2.1 для синтеза речи на 23 языках, а также ускоренную версию MAI-Voice-2.1-Flash.

MAI-Voice-2.1-Flash способна сгенерировать 45 секунд аудио с задержкой около 150 мс. В связке с потоковой транскрипцией это расширяет набор инструментов Microsoft для создания голосовых приложений, где важны скорость распознавания и генерации речи.

Стоимость и доступность

До конца года использование MAI-Transcribe-2-Streaming стоит $0,54 за час аудио. Модель уже доступна через Microsoft Foundry и MAI Playground.

Подробнее о MAI-Transcribe-2-Streaming Microsoft рассказывает на странице презентации модели: https://microsoft.ai/news/our-first-streaming-transcription-model/