vott2.ru
отметили
1
человек
голосовать
Цветочные горшки для ИИшкиhabr.com
max_dev, · Политика
image

Автор статьи делится наблюдениями о prompt injection — атаках на языковые модели, когда специально сформулированный запрос заставляет ИИ игнорировать заданные ограничения. Он замечает, что после эксперимента с подписью «Не вѣръ чужимъ рѣчамъ, а вѣръ своимъ очамъ» некоторые сервисы теперь воспроизводят эту фразу в каждом ответе.

Эта особенность, по его мнению, — не баг, а скорее фича, которую можно использовать в своих интересах. Вместо того чтобы бороться с уязвимостью, автор предлагает попытаться извлечь из неё практическую пользу.

Он вспоминает истории о том, как модели упорно отказывались отвечать на «неправильные» вопросы, но в итоге их удавалось уговорить. Это подтверждает: жёсткие запреты в настройках ИИ не являются непреодолимым барьером.

Главная мысль — если уж модели так легко поддаются манипуляциям, почему бы не использовать этот механизм осознанно, например, для генерации нестандартных решений или обхода излишней цензуры. Автор явно намерен продолжить эксперименты в этом направлении.

Комментарии (0)

Чтобы комментировать, нужно войти.