Odyssey-3 создаёт интерактивные виртуальные миры и помогает обучать роботов

Компания Odyssey представила модель Odyssey-3, предназначенную для создания интерактивных виртуальных миров с реалистичным поведением объектов. Модель генерирует окружение по текстовому запросу, позволяет взаимодействовать с ним в реальном времени и предсказывает, как будут развиваться события. Разработчики также представили результаты тестов физических способностей системы и примеры её применения в робототехнике и автономном вождении.

Odyssey-3 и Odyssey-3 Pro: генерация интерактивных миров

Odyssey-3 отличается от обычных генераторов видео акцентом на моделировании динамики окружающего мира. Пользователь описывает желаемую сцену текстом, после чего система создаёт окружение, которое можно изменять непосредственно во время взаимодействия.

Предусмотрено управление от первого и третьего лица, возможность отдельно перемещать камеру и добавлять события. При этом виртуальный мир должен реагировать на действия пользователя, а не просто воспроизводить заранее созданную последовательность кадров.

Такой подход может быть полезен для разработки интерактивных симуляций, исследования поведения объектов и создания сред для обучения систем искусственного интеллекта. Вместо подготовки отдельного сценария для каждого действия разработчики получают возможность работать с окружением, которое динамически реагирует на происходящее.

Компания выпустила две версии модели:

• Odyssey-3 — генерирует изображение с разрешением 480p и требует меньше ресурсов при работе.
• Odyssey-3 Pro — обеспечивает разрешение 720p и демонстрирует более высокие результаты в задачах, связанных с физикой.

Таким образом, версии ориентированы на разные сценарии использования: базовая подходит для более экономичной работы, а Pro предназначена для задач, в которых важнее точность моделирования физических процессов.

Результаты Physics-IQ и WorldMark

Для оценки способности модели предсказывать развитие событий Odyssey приводит результаты тестирования Physics-IQ. В этом тесте системе показывают начало видеозаписи реального физического эксперимента, связанного с жидкостями, светом, магнитами или теплом. Затем модель должна продолжить видео, а полученный результат сравнивают с тем, что произошло в действительности.

Odyssey-3 Pro набрала в Physics-IQ 66,1 балла. По данным компании, это лучший результат среди представленных моделей.

В другом тесте, WorldMark, Odyssey заявляет о первом месте в трёх из четырёх категорий. При этом компания характеризует результаты как собственные замеры, поэтому для независимой оценки преимуществ модели необходимо учитывать методику тестирования и сопоставимость условий.

Эти показатели важны прежде всего для задач, где недостаточно создать визуально убедительную сцену. Модели необходимо учитывать причинно-следственные связи и формировать правдоподобное продолжение наблюдаемого процесса.

Роботы и автономное вождение: практические сценарии

Odyssey также описывает эксперименты, в которых модель используется для управления физическими системами. В одном из примеров роботизированной руке хватило десятков часов обучающих примеров, чтобы научиться исправлять ошибки, не встречавшиеся в исходных данных. Среди описанных действий — поднятие упавшего предмета и повторная попытка захвата после промаха.

Другой пример связан с автономным вождением. По данным компании, автомобиль смог двигаться по реальным дорогам Индии после 20 часов записей вождения.

Кроме того, компания Flexion использует Odyssey-3 для управления человекоподобными роботами. Согласно описанию разработчиков, роботы продолжают работать при изменении освещения, тогда как другие модели могут терять устойчивость в подобных условиях.

Для обучения Odyssey-3 использовали видеозаписи из интернета, записи игровых сессий с действиями пользователя через клавиатуру и мышь, а также симуляции столкновений объектов. Такое сочетание данных помогает модели изучать не только визуальные закономерности, но и связь между действиями и изменениями окружающей среды.

Где попробовать Odyssey-3

Odyssey сообщила, что модель уже доступна для знакомства на официальном сайте компании. Там можно узнать больше о системе и перейти к её использованию.

Попробовать Odyssey-3 можно по ссылке: https://odyssey.systems/meet-odyssey-3

Потенциальный интерес к модели связан с развитием так называемых моделей мира — систем ИИ, которые не ограничиваются обработкой текста или созданием отдельных изображений, а пытаются предсказывать изменения среды и реакцию объектов на действия. Такие технологии могут найти применение в симуляциях, робототехнике и обучении автономных систем, хотя приведённые компанией результаты сами по себе ещё не подтверждают универсальность модели во всех реальных условиях.