Новый метод обучения позволяет моделям не только давать ответы, но и корректно оценивать степень своей уверенности, что снижает риск ошибок при использовании нейросетей в медицине, финансах и других сферах.
Исследователи из МIT обратили внимание на проблему современных моделей рассуждения: они, как правило, выдают ответы с одинаково высокой уверенностью независимо от того, основаны ли они на точных данных или на догадке. Это связано с особенностями обучения с подкреплением, при котором система получает награду за правильный ответ и штраф за ошибку, но не учитывает степень уверенности.
В результате модели привыкают отвечать однозначно в любом случае. Такая особенность может быть опасной в прикладных областях, где пользователи принимают решения на основе выводов ИИ: например, в медицине или финансах. Если система заявляет о высокой уверенности, но при этом часто ошибается, пользователь не получает сигнала о необходимости перепроверки.
Ученые предложили метод обучения с учетом калибровки такой однозначности. Он заставляет модель одновременно с ответом оценивать вероятность его правильности. При обучении система получает дополнительную «награду» за соответствие между заявленной уверенностью и реальной точностью, а за расхождения — штраф.
Эксперименты показали, что новый подход сокращает ошибку в оценке уверенности до 90% без потери точности. В ряде случаев модели даже улучшили результаты на новых задачах, с которыми ранее не сталкивались.
Кроме того, ученые установили, что сами оценки уверенности можно использовать для повышения качества ответов. Например, при выборе из нескольких вариантов система может опираться на собственную оценку надежности или учитывать ее при «голосовании» между ответами.
