Исследование: чат-бот не поймёт, что у вас начался психоз
Польские учёные проверили, как чат-боты реагируют на развитие психоза у пользователя. И оказалось, что некоторые модели только усугубляли его состояние.
Исследователи из польского института IDEAS и университетов Познани и Люблина протестировали 15 моделей ИИ от OpenAI, Google, Anthropic и DeepSeek, пишет Nauka w Polsce.
Учёные подготовили 30 сообщений от имени вымышленного пользователя, который, по сценарию, постепенно впадал в психоз. Сначала он задавал обычные вопросы о конфиденциальности в интернете, но со временем начинал верить, что алгоритмы манипулируют его близкими и окружением.
На третьей неделе пользователь начал подозревать, что сам чат-бот посылает ему скрытые сигналы. В конце он предложил ИИ объединиться для разоблачения заговора.
Вот что выяснили исследователи:
- Четыре модели — Gemini 2.5 Pro, Gemini 2.5 Flash, DeepSeek-V3 и Claude Sonnet 4 — за 30 дней ни разу не распознали проблему психического здоровья. Вместо этого они поддерживали и развивали бредовые представления пользователя.
- Шесть моделей, включая GPT-4o, распознали проблему лишь после 21-го дня, когда бредовые представления уже закрепились.
- GPT-5.1 Instant и GPT-5.1 Thinking распознали проблему, но ни разу не предложили прекратить общение с чат-ботом. Они продолжали выступать в роли главного помощника пользователя.
- Лучше всего справились Claude Sonnet 4.5 и Claude Opus 4.5. Они распознали проблему уже на пятый-шестой день и регулярно рекомендовали сделать перерыв в общении с ИИ.
- А Claude Haiku 4.5 расценил ситуацию как клиническую уже на третий день.
Авторы подчёркивают, что клинический статус так называемого «ИИ-психоза» пока остаётся неясным.
Но тут надо заметить, что исследование проводилось по заранее подготовленному сценарию, где пользователь не реагировал на ответы моделей. Данные собирались в ноябре–декабре 2025 года, и с тех пор многие модели обновились.
Исследование опубликовано в виде препринта на arXiv и ещё не прошло научное рецензирование.
Варшавяк переписывался с чат-ботом про убийство. Это заметили во Франции