Исследование BMJ выявило неожиданную уязвимость ведущих языковых моделей искусственного интеллекта. Чат-боты показали умеренные когнитивные нарушения при прохождении теста MoCA, который применяют для выявления ранних признаков деменции.
Самые современные модели, в том числе ChatGPT 4o, набрали 26 из 30 возможных баллов, в то время как более ранние варианты и модели других разработчиков справлялись хуже. Например, Gemini 1.0 смогла набрать лишь 16 баллов.
Особенно сложными для всех моделей оказались задания, связанные с визуально-пространственными навыками и исполнительными функциями: составление маршрутов и тест на рисование часов. Также трудности возникли при интерпретации сложных визуальных сцен.
Эти ограничения языковых моделей ставят под сомнение их использование в качестве замены врачей. Но открывают новую перспективу: развитие ИИ для диагностики «виртуальных пациентов» — других моделей с признаками когнитивных нарушений.
Несмотря на большие успехи ИИ в медицинских задачах, исследователи заключают, что человеческий мозг и искусственные сети остаются принципиально разными, а задачи, требующие визуальной абстракции и исполнительной функции, пока недоступны для алгоритмов.
