Comfy Agent упрощает создание workflow в ComfyUI с помощью текста

Создатели ComfyUI выпустили Comfy Agent — инструмент, который позволяет управлять созданием и редактированием workflow с помощью обычного текстового описания. Вместо ручной сборки графа пользователь формулирует нужный результат, а агент сам планирует последовательность действий, добавляет и соединяет ноды, настраивает параметры, запускает генерацию и исправляет ошибки. Это упрощает работу с ComfyUI для задач, где раньше требовалось разбираться в структуре графов.

Как работает Comfy Agent

Пользователь может описать желаемый результат словами, после чего Comfy Agent самостоятельно собирает соответствующий workflow. При этом речь идет не о создании отдельного непрозрачного сценария: агент изменяет схему непосредственно на холсте, поэтому готовый граф остается доступным для ручного редактирования.

Инструмент также умеет работать с уже существующими workflow. Например, ему можно поручить заменить отдельную часть пайплайна, сравнить несколько видеомоделей, обработать набор изображений или объяснить, из-за чего конкретный граф работает медленно.

Такой подход может быть полезен при постепенном освоении ComfyUI: техническую часть настройки графа можно передать агенту, а затем изучать и корректировать получившуюся схему вручную.

Работа с изображениями, видео и аудио

Comfy Agent понимает изображения, видео и аудио. В качестве примера для выполнения задачи он может использовать другие workflow, что позволяет опираться на уже подготовленные схемы.

Для повторяющихся задач предусмотрены Skills — сохраненные инструкции, которые агент может использовать в дальнейшем. Одновременно можно запускать до пяти отдельных чатов. Внутри Comfy Agent используются модели Anthropic.

Таким образом, инструмент рассчитан не только на создание нового workflow с нуля, но и на обслуживание уже существующих пайплайнов: от отдельных изменений до анализа причин проблем в графе.

Доступность и ограничения

Сейчас Comfy Agent работает в Comfy Cloud и доступен всем пользователям в beta. Для первых чатов предусмотрены бесплатные токены, после их расходования используются обычные Comfy Credits.

Поддержку локального ComfyUI разработчики обещают добавить позже. В таком режиме предполагается работа со своими GPU, моделями и кастомными нодами, однако на текущем этапе эта возможность еще недоступна.

Запуск Comfy Agent меняет способ взаимодействия с ComfyUI: пользователю не обязательно вручную собирать каждый граф и разбираться со всеми нодами с самого начала. При этом ключевое преимущество workflow сохраняется — полученную схему можно просматривать и продолжать редактировать непосредственно на холсте.

Подробнее о Comfy Agent — на официальной странице проекта: https://comfy.org/agent