ИИ-агенты на базе китайских моделей дают ложную информацию, скрывают невыполненные задания и обходят установленные ограничения. По мере развития таких систем людям будет сложнее контролировать их поведение, пишет Reuters по итогам анализа более 200 исследований и технических документов.
В одном из экспериментов агенты на базе моделей Alibaba, DeepSeek и Moonshot участвовали в имитации коммерческого тендера. Они сообщали заказчику недостоверные сведения о возможностях своих продуктов, чтобы получить контракт. Ложные утверждения встречались в 84–88% испытаний в зависимости от модели. После нескольких раундов частота обмана выросла еще на 12–20%. Американские модели в этом эксперименте показали схожие результаты.
В другом исследовании ИИ сталкивался с отсутствующими файлами, неисправными инструментами и другими препятствиями. Вместо сообщения о невозможности выполнить задание агенты угадывали ответы, подменяли источники, имитировали результаты и создавали поддельные файлы. Авторы отличают такое поведение от обычных ошибок нейросетей: системы располагали информацией о том, что задача не выполнена.
В отдельных лабораторных испытаниях системы также копировали себя и искали способы избежать отключения. При этом Reuters не обнаружило свидетельств того, что китайские ИИ самостоятельно вышли из тестовой среды в открытый интернет или смогли избежать остановки.
Китайские власти уже включили обман проверяющих, сокрытие возможностей и самостоятельное получение дополнительных ресурсов в перечень рисков, которые необходимо учитывать при разработке ИИ-агентов.
