OpenAI научила ИИ взламывать собственные модели ради их защиты

OpenAI научила ИИ взламывать собственные модели ради их защиты

OpenAI представил личного хакера GPT-Red. Это внутренний ИИ, который специально обучен искать уязвимости в других моделях. Он пытается обмануть их, внедрить вредные инструкции, украсть данные или заставить выполнить опасные действия.

После каждой успешной атаки эти примеры используют для обучения новых моделей. В результате GPT становятся устойчивее к промпт-инъекциям и другим видам атак.

По данным OpenAI, GPT-Red оказался эффективнее людей в поиске подобных уязвимостей. В одном из тестов он успешно атаковал 84% сценариев, тогда как команды специалистов справились только с 13%.

Главное, что сам GPT-Red не станет публичным. OpenAI оставляет его внутри компании, чтобы использовать как инструмент, который помогает делать будущие версии GPT безопаснее и надежнее.