Kimi открыла веса своей самой мощной модели Kimi K3

Kimi открыла веса своей самой мощной модели Kimi K3

Это MoE-модель на 2,8 трлн параметров с нативной поддержкой изображений и контекстным окном на 1 миллион токенов. По словам компании, новая архитектура дает примерно в 2,5 раза больше интеллекта на единицу вычислений по сравнению с предыдущим подходом.

Вместе с моделью Moonshot AI выложила в открытый доступ не только веса, но и технический отчет, высокопроизводительные attention kernels, библиотеку для работы MoE и инфраструктуру для запуска агентных систем в большом масштабе.

По сути компания открыла не только саму модель, но и значительную часть технологий, на которых она построена. Это один из самых крупных open source релизов этого года.

Веса