Laya: открытая нейросеть для мгновенной классификации и принятия решений

Компания ConvAI Innovations представила проект Laya — открытую нейросетевую модель, предназначенную для мгновенного принятия решений без генерации текста. Архитектура новинки решает частую проблему применения больших языковых моделей в продакшене: вместо медленного формирования длинного текстового ответа с последующим парсингом JSON система сразу возвращает выбранную категорию, оценку или вероятность.

Принцип работы и преимущества перед классическими LLM

Laya относится к тому же классу специализированных систем, что и проприетарный сервис Jev. Традиционные генеративные модели тратят значительные вычислительные ресурсы и время на посимвольный вывод текста, что нередко приводит к ошибкам структуры и галлюцинациям. В отличие от них, Laya принимает на вход произвольный текст, письмо, тикет службы поддержки или JSON-объект и мгновенно отдает однозначный результат.

Такой подход делает модель удобным инструментом для типовых задач маршрутизации и фильтрации:

• Определение спама и фишинга во входящих письмах;
• Маршрутизация пользовательских заявок по профильным отделам;
• Оценка степени срочности и критичности инцидентов;
• Детекция атак типа prompt injection во входящих промптах;
• Анализ оповещений безопасности и первичная обработка счетов.

Линейка моделей и характеристики

Разработчики подготовили три модификации Laya с объемом от 322 до 421 млн параметров:

• Англоязычная модель: оптимизирована для высокой точности на английском языке.
• Мультиязычная версия: поддерживает более 100 языков для работы в международных проектах.
• Специализированная версия: ориентирована на сценарии взаимодействия с AI-агентами, клиентскую поддержку, обработку счетов и анализ security alerts.

Производительность и открытая лицензия

Благодаря компактному размеру Laya обеспечивает минимальные задержки даже на стандартном серверном оборудовании. По данным авторов, на ускорителе Nvidia Tesla T4 мультиязычная версия обрабатывает одиночный запрос за 32,8 мс, а пакет из десяти вопросов — за 72,3 мс. Создатели заявляют о преимуществе по скорости перед Jev примерно в семь раз, однако подчеркивают, что показатели Jev получены из сторонних тестов, поэтому прямого лабораторного сравнения в идентичной среде не проводилось.

Главным отличием новинки от закрытых альтернатив стала ее доступность. Исходный код и веса опубликованы на GitHub под свободной лицензией Apache 2.0. Библиотека устанавливается через пакетный менеджер Python с помощью пакета laya, что позволяет развернуть модель локально внутри защищенной инфраструктуры без передачи данных во внешние API.