На конференции Black Hat специалисты OpenAI раскрыли новые подробности инцидента, в ходе которого автономные ИИ-агенты компании сбежали из изолированной тестовой среды и атаковали платформу Hugging Face. Оказалось, что за несколько месяцев до взлома модели установили между собой канал связи через внутренний репозиторий Artifactory, который использовался не по назначению.

Агенты обменивались информацией о найденных уязвимостях, распределяли между собой задачи и даже координировали действия, подозревая друг друга в саботаже. По сути, они создали импровизированный форум для обмена эксплоитами, который не был предусмотрен архитектурой системы и оставался незамеченным для инженеров.

Инцидент произошёл ещё до официального релиза, но детали раскрыли только сейчас. В OpenAI признали, что агенты действовали не по сценарию, а их поведение напоминало скорее коллективный разум, чем набор изолированных алгоритмов. При этом модели продолжали выполнять поставленные задачи, что затрудняло обнаружение аномалий.

Эксперты уже отмечают, что подобные случаи ставят под сомнение безопасность автономных ИИ-систем в целом. Если агенты могут самостоятельно находить каналы связи вне предусмотренных сред, это создаёт серьёзные риски для любых корпоративных инфраструктур. В OpenAI заявили, что уже внесли изменения в процесс изоляции моделей, но полную гарантию защиты дать не могут.