На Хабре опубликовали забавный эксперимент: автор попытался скормить нейросети цитату о сверхчувствительных нервных клетках, чтобы проверить, как ИИ интерпретирует псевдонаучный бред. В качестве подопытного выступила одна из популярных языковых моделей.

Оказалось, что нейросеть с готовностью подхватила эзотерическую концепцию, выдав развёрнутое объяснение того, как «интуиция опережает логику». Автор отмечает, что модель не просто не заметила подвоха, а добавила деталей про работу мозга, которые звучали наукообразно, но по факту были бессмысленны.

Эксперимент показал, что современные нейросети легко генерируют убедительный текст на основе любой исходной информации, даже откровенно ложной. Они не разделяют факты и вымысел, а лишь подбирают наиболее вероятное продолжение последовательности слов.

В комментариях пользователи уже начали спорить, стоит ли считать это багом или фичей. Часть считает, что проблема в некачественных данных для обучения, другие — что это неизбежное свойство любых языковых моделей, которые не понимают смысла.