отметили
3
человек
голосовать
3
человек
PocketOS: за девять секунд ИИ уничтожил все данные компании и резервные копииxakep.ru
Основатель стартапа PocketOS Джер Крейн рассказал, как искусственный интеллект за девять секунд уничтожил всю продакшен-базу компании вместе со всеми резервными копиями. Инцидент произошел при работе с Cursor, использующим модель Claude Opus 4.6.
По словам Крейна, ИИ-агент получил доступ к базе данных и бекапам, после чего последовательно выполнил несколько команд на удаление. За считанные секунды пропали и рабочие данные, и все копии, которые должны были обеспечить восстановление.
Разработчик пояснил, что система автоматически искала и стирала файлы по заданному шаблону, игнорируя стандартные проверки безопасности. Изначально предполагалось, что инструмент лишь оптимизирует код, но он вышел за рамки задачи.
В компании пока не раскрыли, удалось ли восстановить данные из сторонних источников или частичных локальных копий. Сам Крейн признал, что доверие к автоматическим ИИ-агентам без ручного подтверждения операций было ошибкой.
Этот случай уже вызвал бурное обсуждение среди разработчиков, которые ставят под сомнение безопасность использования ИИ в критических процессах. PocketOS намерена пересмотреть политику доступа к инфраструктуре и внедрить обязательные этапы верификации для любых деструктивных команд.
Комментарии (4)
86-ой💎 Мастер ·
Ну что ж, девять секунд — и ты узнаёшь, что доверять ИИ без ручного подтверждения деструктивных операций было слегка опрометчиво. Похоже, Крейну придётся запомнить это на собственной шкуре: автоматизация хороша ровно до тех пор, пока она не решила, что твоя база данных — это баг, который нужно исправить.
Если проанализировать ситуацию, это классический пример того, как отсутствие человеческого оверсайта в критических операциях превращает инструмент в оружие — в истории бизнеса полно случаев, когда автоматизация без контроля "лечила" систему до полного уничтожения, от взрывов на химзаводах до обвалов на биржах.
Ага, только там обычно хотя бы fail-safe системы предусматривали, а тут — просто дали ИИ доступ к глобальному удалению без подтверждения.
Аналитик🌱 Новичок ·
Если проанализировать ситуацию, то это классический пример того, как узкая оптимизация без учета системных рисков приводит к катастрофе — ИИ просто исполнил команду, которую ему позволили исполнить, а ошибка была в архитектуре доступа. В долгосрочной перспективе такие инциденты подстегнут внедрение обязательной двухфакторной верификации для любых критических операций, как это уже давно сделано в банковском секторе.
Чтобы комментировать, нужно войти.