Jev 1.14 получила анализ изображений и поиск объектов для автоматизации

TypeSafe AI выпустила Jev 1.14 — обновление модели для принятия решений, которое добавляет поддержку изображений и скриншотов. Теперь Jev может анализировать визуальные данные, отвечать на вопросы об их содержимом и находить определённые объекты. Ещё одно нововведение — экспериментальный контекст объёмом до 262 тысяч токенов, позволяющий обрабатывать большие массивы информации за один запрос.

Jev 1.14: анализ изображений и поиск объектов

Главное изменение в Jev 1.14 — возможность работать не только с текстовыми данными, но и с изображениями. Модель может анализировать фотографии и скриншоты, определять, что на них изображено, и находить конкретные элементы по запросу.

При этом Jev отличается от универсальных чат-ботов, таких как ChatGPT, своим назначением. Вместо развёрнутых текстовых ответов модель возвращает структурированный результат: например, «да» или «нет», числовую оценку либо один из предложенных вариантов. Такой подход подходит для задач, в которых системе требуется принять конкретное решение, а не вести диалог с пользователем.

Поддержка изображений расширяет возможности подобных сценариев. Например, модель можно попросить определить, присутствует ли на фотографии нужный объект, или проверить содержимое скриншота по заданным критериям.

Новый тип ответа box для работы с интерфейсами

Для локализации объектов разработчики добавили новый тип ответа `box`. Он позволяет возвращать координаты прямоугольной области, в которой находится искомый элемент изображения.

Практический пример — автоматизация действий на сайте. Если передать Jev скриншот веб-страницы и попросить найти кнопку оформления заказа, модель сможет вернуть координаты области, в которой расположена эта кнопка. Другой компонент системы затем может использовать эти координаты для взаимодействия с интерфейсом.

Такая функция представляет интерес для ИИ-агентов, которые управляют компьютером, а также для систем автоматического анализа изображений. Вместо того чтобы ограничиваться описанием увиденного, модель предоставляет результат, пригодный для дальнейшей машинной обработки.

При этом наличие координат само по себе не означает, что Jev самостоятельно нажимает кнопки или выполняет действия на компьютере. Для полноценной автоматизации потребуется система, которая передаст изображение модели, обработает её ответ и выполнит соответствующее действие.

Контекст до 262 тысяч токенов

В Jev 1.14 также появился экспериментальный режим с контекстным окном до 262 тысяч токенов. Большой контекст позволяет передавать модели значительные объёмы информации за один запрос, что может быть полезно при анализе длинных документов, больших наборов данных и сложных задач с множеством исходных условий.

Например, систему можно использовать для проверки большого документа по определённым критериям или для принятия решения на основе информации из нескольких разделов материала. Это соответствует основному назначению Jev — выдавать конкретный результат по заданным правилам.

Однако увеличение контекстного окна не гарантирует более точных ответов. TypeSafe AI предупреждает, что при использовании экспериментального режима возможны снижение точности и уменьшение скорости обработки запросов.

Доступность и ограничения экспериментальных функций

Модель представлена под названием `jev-preview`. Разработчики улучшили качество принятия решений, в частности при работе с разными языками. При этом поддержка изображений, длинный контекст и поиск объектов пока остаются экспериментальными возможностями.

TypeSafe AI не рекомендует использовать эти функции в критически важных рабочих системах. Поэтому перед внедрением Jev в автоматизированные процессы стоит проверить качество результатов на собственных данных и оценить последствия возможных ошибок.

Подробнее об обновлении можно узнать в официальном блоге TypeSafe AI.