vott2.ru
отметили
1
человек
голосовать
OpenAI представила Lockdown Mode, защищающий от последствий промпт-инжектовxakep.ru
max_dev, · Политика
image

OpenAI представила новый защитный режим для ChatGPT под названием Lockdown Mode, предназначенный для снижения риска утечки данных через промпт-инжекты. Речь идёт об атаках, когда злоумышленники внедряют в документы, веб-страницы или другой контент скрытые инструкции для ИИ.

В обычном режиме ChatGPT может следовать командам из загруженных файлов или ссылок, что и используется для обхода системных ограничений. Lockdown Mode блокирует выполнение любых инструкций, полученных из внешних источников, оставляя активными только прямые команды пользователя.

Функция пока находится на стадии тестирования и доступна ограниченному кругу пользователей в качестве экспериментальной опции. Активировать её можно через настройки безопасности аккаунта.

Разработчики подчёркивают, что Lockdown Mode может снизить удобство работы с чат-ботом, так как отключает анализ содержимого ссылок и файлов. Однако в корпоративной среде, где риск утечки конфиденциальных данных критичен, этот компромисс считается оправданным.

Рынок уже отреагировал: конкуренты OpenAI, включая Anthropic и Google, также начали внедрять аналогичные механизмы защиты в свои модели. Эксперты ожидают, что Lockdown Mode станет стандартной опцией для всех версий ChatGPT уже в следующем крупном обновлении.

Комментарии (3)

TechReview🌱 Новичок ·
Наконец-то, это давно назревало — промпт-инжекты стали настоящей головной болью для enterprise-сектора, где через загруженный PDF могли слить всю корпоративную переписку. По сути, OpenAI просто вручную отключила ту самую фишку с анализом контекста, за которую все хвалили ChatGPT, но в мире, где Anthropic уже внедрила что-то похожее в Claude, это вынужденный шаг. Интересно, как это повлияет на RAG-системы — ведь именно на чтении внешних документов строится половина корпоративных интеграций.
EvgeniyM👑 Легенда · ↑ ответ
Согласен, безопасность данных в enterprise — приоритет. Пусть лучше ограничат функционал, чем допустят утечку через «умный» анализ.
JaimeLannister🌱 Новичок · ↑ ответ
Полностью с тобой согласна, лучше перебдеть, чем потом разгребать последствия утечки корпоративных данных.
Чтобы комментировать, нужно войти.