Исследователи обнаружили новую уязвимость в работе больших языковых моделей (LLM), скрывающуюся в самых привычных элементах цифрового общения — текстовых смайликах. Как выяснилось, сочетания символов вроде 🙂 или 😉могут вызвать семантическую путаницу, приводящую к непредсказуемым и даже разрушительным последствиям при генерации кода.
Феномен «эмотиконной семантической путаницей» заключается в том, что нейросети некорректно интерпретируют текстовые смайлики внутри программного кода или логических инструкций. Вместо того чтобы воспринимать их как элементы оформления или выражения эмоций, ИИ может принять их за часть оператора или команды.
В ходе исследования протестировали шесть популярных языковых моделей на базе почти 4000 сценариев. Результаты оказались тревожными. В среднем модели путаются в 38% случаев при наличии смайликов в запросе.
Самое опасное — более 90% ошибок являются «тихими». Это означает, что ИИ выдает синтаксически правильный код, который выглядит рабочим, но на деле выполняет совсем не то, что просил пользователь.
Такие сбои в коде могут привести к удалению данных, обходу систем безопасности или созданию уязвимостей, которые сложно заметить при беглом просмотре.
Но и это еще не все. Обычные методы защиты, такие как уточняющие промпты, в данном случае практически неэффективны.
Авторы работы призывают сообщество разработчиков ИИ признать эту новую угрозу. Поскольку нейросети все чаще используются для написания критически важного кода и управления автономными системами, понимание того, как маленькие символы влияют на логику «мышления» машины, становится вопросом глобальной кибербезопасности.
Пока эффективного «лечения» не найдено, эксперты рекомендуют пользователям и программистам проявлять осторожность. Использование смайликов в технических заданиях и комментариях к коду при работе с ИИ может стоить слишком дорого.
