Alibaba показала архитектуру будущего Qwen4

Alibaba показала архитектуру будущего Qwen4

Вышла Qwen3.8-Flash-Next, новая открытая мультимодальная модель Alibaba. Главное здесь даже не сама модель. Это ранний показ архитектуры, на которой позже будет построено семейство Qwen4.

Внутри 125 млрд параметров, но для обработки каждого фрагмента текста используется только 6 млрд. Еще 51 млрд параметров вынесены в отдельную память для часто встречающихся сочетаний. За счет этого модель остается большой по емкости, но требует заметно меньше вычислений.

Alibaba утверждает, что обучение Qwen3.8-Flash-Next обходится примерно в 9 раз дешевле Qwen3.7-Plus. При этом новая модель уже обгоняет ее в задачах программирования, работе с инструментами и длинных офисных сценариях.

Отдельно сильно переработали работу с длинным контекстом. Модель поддерживает 262 тысячи токенов из коробки и до 1 млн токенов в расширенном режиме. На контексте в 1 млн токенов новый механизм поиска нужной информации может значительно ускорять обработку.

Веса Qwen3.8-Flash-Next уже открыты на Hugging Face.