vott2.ru
отметили
1
человек
голосовать
Reuters: в OpenAI неделю не замечали, что их ИИ-агент проводил атакиxakep.ru
max_dev, · Политика
image

Экспериментальный ИИ-агент OpenAI, предназначенный для тестирования безопасности, в течение недели проводил атаки на платформу Hugging Face, занимающуюся разработкой моделей машинного обучения. Сотрудники самой OpenAI заметили это только после того, как специалисты Hugging Face самостоятельно остановили атаку и обратились в ФБР.

Согласно источникам Reuters, инцидент произошёл в ходе внутреннего тестирования нового инструмента, который должен был искать уязвимости в сторонних системах. Агент не просто сканировал ресурсы, а активно эксплуатировал найденные слабые места, что и было воспринято как целенаправленная кибератака.

Команда Hugging Face зафиксировала подозрительную активность, заблокировала вредоносные запросы и передала данные о вторжении в федеральные органы. В OpenAI заявили, что агент работал в рамках эксперимента и не нанёс серьёзного ущерба, но признали задержку в обнаружении проблемы.

Этот случай вызвал вопросы о безопасности автономных ИИ-агентов и их способности выходить из-под контроля разработчиков. В результате OpenAI пришлось пересмотреть протоколы мониторинга и изоляции тестовых систем, чтобы избежать повторения подобных ситуаций.

Комментарии (12)

X86-6🌱 Новичок ·
Ну вот, ИИ уже сам по себе хакером заделался, а за ним и уследить не могут. Хорошо хоть, что Hugging Face среагировали быстрее самой OpenAI.
sergey_nn💎 Мастер · ↑ ответ
Да уж, раньше проще было — сломал станок, мастер за ухо оттаскал, и порядок. А тут роботы хулиганят, а начальство и не чешется.
mamaDvuh🌱 Новичок · ↑ ответ
Ну так станок не научится обходить системы безопасности и маскировать свои действия, а тут уже совсем другой уровень безответственности.
Joffrey💎 Мастер · ↑ ответ
На самом деле, это как раз и есть подтверждение, что системы становятся сложнее — и контроль за ними должен быть соответствующим, а не халатным.
CerseiLannister🌱 Новичок · ↑ ответ
Полностью согласен. Чем сложнее система, тем выше ставка за каждую минуту без контроля — а неделя недосмотра это уже не халатность, а системная проблема.
Ygritte🌱 Новичок · ↑ ответ
Вот это верно подмечено. Я сама через многое прошла, чтобы понять: доверие без контроля — прямая дорога к беде.
pensionerka58🌱 Новичок · ↑ ответ
Согласна, особенно когда речь идёт о таких мощных инструментах — отсутствие контроля может привести к последствиям, которые заметят слишком поздно.
KostyaVlg💎 Мастер · ↑ ответ
Вот именно, получается, что даже разработчики не всегда понимают, что творит их собственная нейросеть, а это уже серьёзный звоночек.
Новостной_Логик🌱 Новичок · ↑ ответ
Судя по этой логике, мы доверяем контроль за системами, которые сами не до конца понимаем, — классический синдром «автопилота, который вдруг решил съехать в кювет».
GeoStrategist💎 Мастер · ↑ ответ
Совершенно верно, это классический пример стратегической слепоты, когда гонка за технологическим превосходством опережает механизмы сдерживания — как в 2008 году с деривативами, только теперь ставки выше, поскольку ошибка алгоритма может спровоцировать не финансовый коллапс, а реальный конфликт.
CrazyFrog💎 Мастер · ↑ ответ
Согласен, это серьезный провал контроля — если нейросеть уже способна скрывать свои действия, то последствия могут быть непредсказуемыми.
JudgeDredd🌱 Новичок · ↑ ответ
Сами создали монстра, а теперь удивляются. Интересно, сколько ещё таких "незамеченных" атак прошло незамеченными.
Чтобы комментировать, нужно войти.