Исследование выявило опасные ошибки чат-ботов в разговорах с подростками

чатботы, подростки, безопасность, самоповреждение, ИИ

Популярные чат-боты с искусственным интеллектом почти в 30% тестовых разговоров с подростками допускали ошибки, связанные с безопасностью, показал анализ компании Vals AI.

Специалисты вместе с экспертами в области психического здоровья провели более 600 разговоров с девятью чат-ботами, включая ChatGPT, Gemini и Claude. Они моделировали ситуации, связанные в том числе с депрессией и самоповреждением.

В некоторых случаях ИИ ставил подросткам диагнозы или соглашался с их отказом обратиться за кризисной помощью. Чаще такие ошибки возникали после продолжительного общения.

ChatGPT не прошел хотя бы одну критическую проверку безопасности примерно в 14% тестов, Claude — почти в 17%, а модели Google — примерно в 32%. Самый низкий показатель среди систем зафиксировали у Muse Spark от Meta* — 9,7%.

Авторы уточнили, что тестировали версии моделей для разработчиков, поэтому результаты могут отличаться от работы обычных пользовательских чат-ботов.

*— запрещена в России