Вышла LingBot-Video, первая открытая видеомодель, созданная специально для роботов

Вышла LingBot-Video, первая открытая видеомодель, созданная специально для роботов

Модель построена на архитектуре MoE. Всего в ней 30 миллиардов параметров, но при генерации одновременно работают только 3 миллиарда. Это даёт примерно трёхкратный прирост скорости по сравнению с обычными плотными моделями и позволяет отвечать в реальном времени, что критично для робота.

Сначала модель обучили на массиве интернет-видео, а затем добавили 70 тысяч часов записей от первого лица. Туда вошли ролики с ловкой работой рук, навигация по помещениям и повседневное взаимодействие с предметами. За счёт этого модель понимает, как действия меняют окружение, а не только как выглядит красивая картинка.

На этапе дообучения через RL модель штрафовали не за неэстетичный кадр, а за физически невозможные сцены и невыполненные задачи. Награда шла именно за реалистичное поведение объектов и завершение действия.

На бенчмарке RBench от Пекинского университета и ByteDance модель набрала 0.620 балла. Для сравнения, Wan2.6 получила 0.607, Seedance 1.5 Pro 0.584, Cosmos3 Super 0.581. Все три конкурента остались позади.

Исходный код полностью открыт.