Запускай локальный ИИ прямо на телефоне

Запускай локальный ИИ прямо на телефоне

Стартап PrismML выпустил Bonsai 27B, первую модель на 27 миллиардов параметров, которая помещается в память телефона.

Обычно модель такого размера весит 54 гигабайта, а её сжатая до 4 бит версия занимает 18 гигабайт. Ни один смартфон столько не вытянет.

PrismML сжали модель двумя разными способами и получили два варианта. Ternary Bonsai 27B весит 5.9 гигабайта и работает на обычном ноутбуке. 1-bit Bonsai 27B весит 3.9 гигабайта и запускается прямо на iPhone 17 Pro.

Внутри телефона приложению доступно только около 6 гигабайт памяти и эта модель первой в своём классе туда пролезла.

Качество почти не пострадало. Ternary-версия сохраняет 95 процентов возможностей исходной модели, 1-bit версия 90 процентов. Математика и код просели минимально, вызов инструментов и агентные задачи работают надёжно.

Обе версии мультимодальные, понимают скриншоты, документы и картинки с камеры. Контекст 262 тысячи токенов. Скорость на iPhone доходит до 87 токенов в секунду, на видеокарте RTX 5090 до 163.

Модель заточена под агентов, которые делают сотни шагов подряд. При локальной работе каждый шаг стоит ноль, а личные файлы и данные с экрана никуда не отправляются.

Веса опубликованы под лицензией Apache 2.0, для разработчиков открыт бесплатный превью API.