OpenAI научила ИИ взламывать собственные модели ради их защиты
OpenAI научила ИИ взламывать собственные модели ради их защиты OpenAI представил личного хакера GPT-Red . Это внутренний ИИ, который специально обучен искать уязвимости в других моделях. Он пытается о
OpenAI научила ИИ взламывать собственные модели ради их защиты
OpenAI представил личного хакера GPT-Red. Это внутренний ИИ, который специально обучен искать уязвимости в других моделях. Он пытается обмануть их, внедрить вредные инструкции, украсть данные или заставить выполнить опасные действия.
После каждой успешной атаки эти примеры используют для обучения новых моделей. В результате GPT становятся устойчивее к промпт-инъекциям и другим видам атак.
По данным OpenAI, GPT-Red оказался эффективнее людей в поиске подобных уязвимостей. В одном из тестов он успешно атаковал 84% сценариев, тогда как команды специалистов справились только с 13%.
Главное, что сам GPT-Red не станет публичным. OpenAI оставляет его внутри компании, чтобы использовать как инструмент, который помогает делать будущие версии GPT безопаснее и надежнее.
Подпишись, чтобы
ничего не пропустить
Бесплатные промпты для нейросетей на русском, новости ИИ и уроки по генерации фото, видео и текста, доступные на всех площадках.