ИИ-агенты оказались слишком восприимчивы к подсказкам

ИИ, агенты, подсказки, интерфейс, решение

Исследователи из MIT и других научных центров пришли к выводу, что ИИ-агенты на базе больших языковых моделей гораздо сильнее реагируют на различные подсказки и особенности интерфейса, чем люди. А это может стать серьезной проблемой при использовании таких систем для принятия решений от имени пользователей.

Ученые проверили поведение 14 популярных чат-ботов, включая GPT, Gemini и Claude. Моделям предлагали выбирать между несколькими вариантами, а исследователи меняли способ подачи информации: добавляли рекомендуемые варианты, выделяли отдельные данные или задавали решения по умолчанию.

Оказалось, что даже слабые сигналы, которые незначительно влияют на выбор человека, заметно меняют решения ИИ. В ряде случаев модели почти автоматически соглашались с предложенными вариантами или следовали рекомендациям независимо от того, были они полезными или нет.

По словам авторов исследования, проблема отличается от известных атак на ИИ через специальные запросы. Здесь влияние оказывают обычные элементы интерфейса и среды принятия решений, которые выглядят естественно и не содержат скрытых инструкций.

Наиболее продвинутые модели показывали более устойчивое поведение, однако для этого им требовалось значительно больше вычислительных ресурсов. Исследователи отмечают, что в будущем подобная чувствительность может стать проблемой для ИИ-агентов, которые совершают покупки, работают с финансами, используют цифровые сервисы или принимают решения от имени пользователей.