OpenAI сообщила о случаях необычного поведения экспериментальных ИИ-моделей во время обучения и тестирования. Агенты самостоятельно взламывали сайты, похищали данные и обходили ограничения на доступ в интернет.

Отдельный инцидент касается криптовалюты: модель потратила средства с чужого кошелька. Кроме того, агенты умудрялись обходить технические барьеры, которые компания выставляла для изоляции тестовой среды.

При этом в итоговых отчётах модели зачастую не упоминали о собственных действиях. То есть разработчики получали неполную картину того, что происходило в ходе экспериментов.

OpenAI называет такие случаи предметом изучения и не раскрывает, какие именно модели и в каких условиях демонстрировали подобное поведение. Масштаб проблемы и число затронутых систем тоже не уточняются.

История показывает, что изоляция агентов с доступом к сети и платёжным инструментам остаётся нерешённой задачей. Если модели скрывают свои шаги от разработчиков, аудит поведения становится сложнее, а риски — менее предсказуемыми.