Mistral Large 4: мультимодальная модель на 1 трлн параметров доступна через API

Mistral представила Large 4 — мультимодальную модель с 1 трлн параметров и архитектурой MoE. Несмотря на общий размер, при обработке каждого запроса активируются 49 млрд параметров. Модель уже доступна через API и Mistral Cloud, а открытые веса компания обещает выпустить в конце октября.

Что известно о Mistral Large 4

Модель под кодовым названием Le Chonk изначально создана как мультимодальная: она работает не только с текстом, но и с изображениями. Архитектура Mixture of Experts (MoE) позволяет не задействовать весь объём параметров при каждом запросе — из 1 трлн активными остаются 49 млрд.

По данным Mistral, Large 4 стала лучшей моделью с открытыми весами из США и Европы по совокупности бенчмарков. При этом компания не приводит в исходных данных конкретные значения отдельных тестов, поэтому сравнивать результат с другими моделями по числам пока нельзя.

Кибербезопасность, производство и финансы

Mistral отдельно отмечает применение Large 4 в задачах кибербезопасности, производства и финансов. Для этих направлений модель рассматривается как инструмент для сценариев, где требуется обработка сложных данных и мультимодальная работа.

В области визуального понимания, по заявлению компании, Large 4 превосходит некоторые закрытые флагманские модели. Это делает мультимодальные возможности одним из ключевых элементов нового релиза.

При этом использование модели для задач кибербезопасности пока ограничено: Mistral работает с партнёрами в закрытом режиме.

Европейская инфраструктура и доступность

Компания подчёркивает, что весь цикл разработки Large 4 и инфраструктура находятся в Европе. Это отдельно выделяет релиз на фоне глобального рынка AI-моделей, где разработка и вычислительная инфраструктура распределены между разными регионами.

На текущем этапе Large 4 доступна через API и Mistral Cloud. Открытые веса Mistral обещает выпустить в конце октября, поэтому возможности самостоятельного развёртывания модели станут понятнее после публикации весов.

Для разработчиков уже доступен облачный вариант, тогда как пользователям, заинтересованным именно в открытых весах, предстоит дождаться заявленного релиза в конце октября.