Новое исследование ставит под сомнение наличие у искусственного интеллекта человекоподобных лингвистических способностей, включая понимание сложных конструкций и логическое мышление.
Большие языковые модели (LLM) все шире используют в различных областях — от медицины и юриспруденции до образования. Однако, не смотря на такие успехи, ИИ все еще не хватает так называемого чувства языка, которое есть у людей.
Ученые протестировали 400 человек и семь современных LLM, предлагая и тем и другим ответить на ряд вопросов по коротким текстам с распространенными лингвистическими конструкциями. Каждый вопрос задавали несколько раз в двух форматах: с возможностью ответить одним словом или фразой.
Результаты оказались неутешительными для ИИ — люди значительно превзошли машины по качеству ответов. Оказалось, что LLM отвечают на вопросы практически наугад, демонстрируя значительную неустойчивость. Более того, ошибки ИИ качественно отличаются от человеческих, указывая на принципиально иное, «нечеловеческое» понимание языка.
Исследователи пришли к выводу, что, несмотря на свою практическую пользу, современные модели ИИ пока не способны понимать язык так, как это делают люди. Очевидно, что это связано с отсутствием у них композиционного оператора, который регулирует взаимодействие грамматической и семантической информации.
Другими словами, машины пока не умеет считывать смысл из отдельных слов и грамматических конструкций так, как это делаем мы. По словам экспертов, эти данные важны для дальнейшего развития и применения ИИ, особенно в областях, требующих глубокого понимания смысла текста.
