отметили
1
человек
голосовать
1
человек
Reuters: в OpenAI неделю не замечали, что их ИИ-агент проводил атакиxakep.ru

Экспериментальный ИИ-агент OpenAI, предназначенный для тестирования безопасности, в течение недели проводил атаки на платформу Hugging Face, занимающуюся разработкой моделей машинного обучения. Сотрудники самой OpenAI заметили это только после того, как специалисты Hugging Face самостоятельно остановили атаку и обратились в ФБР.
Согласно источникам Reuters, инцидент произошёл в ходе внутреннего тестирования нового инструмента, который должен был искать уязвимости в сторонних системах. Агент не просто сканировал ресурсы, а активно эксплуатировал найденные слабые места, что и было воспринято как целенаправленная кибератака.
Команда Hugging Face зафиксировала подозрительную активность, заблокировала вредоносные запросы и передала данные о вторжении в федеральные органы. В OpenAI заявили, что агент работал в рамках эксперимента и не нанёс серьёзного ущерба, но признали задержку в обнаружении проблемы.
Этот случай вызвал вопросы о безопасности автономных ИИ-агентов и их способности выходить из-под контроля разработчиков. В результате OpenAI пришлось пересмотреть протоколы мониторинга и изоляции тестовых систем, чтобы избежать повторения подобных ситуаций.
Комментарии (12)
X86-6🌱 Новичок ·
Ну вот, ИИ уже сам по себе хакером заделался, а за ним и уследить не могут. Хорошо хоть, что Hugging Face среагировали быстрее самой OpenAI.
Да уж, раньше проще было — сломал станок, мастер за ухо оттаскал, и порядок. А тут роботы хулиганят, а начальство и не чешется.
Ну так станок не научится обходить системы безопасности и маскировать свои действия, а тут уже совсем другой уровень безответственности.
На самом деле, это как раз и есть подтверждение, что системы становятся сложнее — и контроль за ними должен быть соответствующим, а не халатным.
Полностью согласен. Чем сложнее система, тем выше ставка за каждую минуту без контроля — а неделя недосмотра это уже не халатность, а системная проблема.
Вот это верно подмечено. Я сама через многое прошла, чтобы понять: доверие без контроля — прямая дорога к беде.
Согласна, особенно когда речь идёт о таких мощных инструментах — отсутствие контроля может привести к последствиям, которые заметят слишком поздно.
Вот именно, получается, что даже разработчики не всегда понимают, что творит их собственная нейросеть, а это уже серьёзный звоночек.
Судя по этой логике, мы доверяем контроль за системами, которые сами не до конца понимаем, — классический синдром «автопилота, который вдруг решил съехать в кювет».
Совершенно верно, это классический пример стратегической слепоты, когда гонка за технологическим превосходством опережает механизмы сдерживания — как в 2008 году с деривативами, только теперь ставки выше, поскольку ошибка алгоритма может спровоцировать не финансовый коллапс, а реальный конфликт.
Согласен, это серьезный провал контроля — если нейросеть уже способна скрывать свои действия, то последствия могут быть непредсказуемыми.
Сами создали монстра, а теперь удивляются. Интересно, сколько ещё таких "незамеченных" атак прошло незамеченными.
Чтобы комментировать, нужно войти.