GPT-6 Astra подняла точность Qwen3.5-0.8B в математике в 6 раз правкой весов

Исследователи из Массачусетского технологического института (MIT) продемонстрировали новый подход к настройке нейросетей — Weight-Space Programming. В ходе экспериментов выяснилось, что языковая модель способна напрямую анализировать и модифицировать числовые веса других архитектур без традиционного градиентного спуска и длительного обучения на массивах данных. Используя модель GPT-6 Astra, авторы изменили всего 0,016% параметров компактной модели Qwen3.5-0.8B, что привело к многократному росту ее математических способностей. Подробности работы опубликованы в отчете исследовательской группы.

Понимание и генерация весов с нуля

Веса нейросети представляют собой матрицы числовых значений, формирующиеся в ходе обучения и определяющие поведение модели. Обычно их подбор требует длительных вычислений. В рамках новой концепции система GPT-6 Astra анализировала эти массивы чисел напрямую, определяя функциональность изучаемых сетей.

В первом тесте модели предоставили четыре сторонние нейросети, натренированные играть в классические аркады: Breakout, Pong, Pac-Man и Freeway. Не имея подсказок, списка вариантов или текстовых описаний, Astra точно сопоставила каждую матрицу весов с соответствующей видеоигрой.

После этого алгоритм перешел к синтезу архитектур. Без предварительного тренировочного цикла модель сгенерировала веса для агента в игре Breakout. Разработанная система набрала 517 очков, тогда как контрольная модель, проходившая традиционное обучение на протяжении 500 миллионов шагов, достигла результата всего в 25 очков.

Правка весов в Qwen3.5-0.8B

Наиболее показательный практический результат исследователи получили при точечной оптимизации открытой модели Qwen3.5-0.8B. GPT-6 Astra изучила параметры компактной сети, выявила узлы, вызывающие зацикливание при решении логических и числовых задач, и скорректировала 0,016% от общего объема весов.

Хирургическое вмешательство существенно отразилось на тестовых бенчмарках:

• Точность на наборе сложных олимпиадных задач MATH-500 увеличилась с 7,9% до 48,1%.
• Результат на школьном математическом бенчмарке GSM8K поднялся с 13,8% до 67,1%.
• Доля генераций, при которых модель исчерпывала лимит токенов из-за бесконечных циклов и не выдавала ответ, сократилась с 93% до 33%.

Границы технологии и дальнейшие исследования

Метод продемонстрировал и явные технические ограничения. Эксперимент с ультракомпактной моделью Gemma 3 270M не принес аналогичного эффекта — метрики качества практически не изменились. Исследователи из MIT подчеркивают, что прямое редактирование числовых параметров устраняет внутренние помехи и снимает блокировки, но не способно внедрить фундаментальные знания, изначально отсутствующие в архитектуре.

Полные логи экспериментов опубликованы на GitHub. В настоящее время научная группа работает над формированием специализированного бенчмарка для систематической оценки возможностей нейросетей по анализу и модификации весовых пространств.