FLUX 3 Action: открытая модель Black Forest Labs для управления роботами

Компания Black Forest Labs, известная разработкой популярного семейства генеративных моделей, представила FLUX 3 Action — открытую нейросеть на 7 миллиардов параметров для управления роботами. Модель не просто рассчитывает моторику манипулятора, но и прогнозирует физические изменения окружающего пространства в процессе выполнения задач. Релиз дает независимым разработчикам и исследователям мощный открытый инструмент для создания автономных физических систем.

Обучение на видео и понимание физики мира

Ключевая архитектурная особенность FLUX 3 Action заключается в структуре обучающей выборки. Более 95% данных на этапе предварительного обучения составляли обычные видеозаписи. Благодаря этому подходу модель изначально сформировала представление об инерции, взаимодействии объектов и законах реального мира, после чего ее адаптировали непосредственно под робототехнический контроль.

Взаимодействие с физическим миром выстроено в циклический процесс:

• модель анализирует визуальный поток с установленных камер и текущую телеметрию положения робота;
• вычисляет и производит серию последовательных движений;
• параллельно моделирует ожидаемое изменение сцены;
• заново сканирует окружение и при возникновении ошибок или отклонений оперативно корректирует дальнейшие действия.

Производительность на бенчмарке RoboLab-120

Эффективность новой архитектуры проверили в стандартизированных испытаниях RoboLab-120. В сравнительных тестах топовая конфигурация FLUX 3 Action опередила конкурирующие решения:

• FLUX 3 Action успешно завершила 42,9% поставленных тестовых задач;
• Cosmos 3 Nano показала результат в 36,8%;
• модель π0.5 справилась лишь с 28% заданий.

Несмотря на высокую точность, FLUX 3 Action сохраняет компактность: размер в 7B параметров позволяет алгоритму в определенных сценариях работать почти в четыре раза быстрее аналогов, что особенно важно при управлении манипуляторами с минимальной задержкой.

Тандем с GPT-6 Astra и интерфейсные агенты

Чтобы повысить надежность в сложных сценариях, инженеры BFL протестировали гибридную связку: за высокоуровневое планирование отвечает мультимодальная модель GPT-6 Astra, а FLUX 3 Action берет на себя быструю моторику и непосредственное исполнение движений. Такое разделение ролей позволило успешно закрыть 90% испытательных эпизодов.

Веса модели в рамках политики открытого кода опубликованы в открытом репозитории на Hugging Face. Разработчики рассчитывают перенести возможности этой архитектуры за пределы робототехники: в перспективе алгоритм применят для создания автономных агентов, способных ориентироваться в интерфейсах операционных систем и программ.