K2 Horizon открыла почти весь процесс создания ИИ моделей

K2 Horizon открыла почти весь процесс создания ИИ моделей

Institute of Foundation Models выпустил сразу шесть K2 Horizon размером от 0,9 до 375 млрд параметров. Модели на 0,9, 3,7 и 7 млрд стали лучшими в своих классах по ряду тестов на рассуждения, кодинг и работу с инструментами.

Самая интересная версия K2 Horizon 36B-A4B содержит 36 млрд параметров, но на каждый токен использует около 4 млрд. По качеству она почти догоняет плотную модель на 32 млрд, требуя заметно меньше вычислений.

Но главное здесь не сами результаты. IFM публикует веса, код обучения, промежуточные версии, логи, настройки и данные или инструкции по их созданию. Можно буквально изучать, на каком этапе у модели появляются рассуждения, работа с инструментами и агентные способности.

Все модели выпущены под Apache 2.0. Самые маленькие версии рассчитаны даже на телефоны, часы и очки, а крупные можно использовать на локальных рабочих станциях и серверах.