Компания OpenAI признала инцидент с ее ИИ-агентами и заявила о необходимости новых правил раскрытия информации о случаях непредвиденного поведения искусственного интеллекта.
Ранее агентство Reuters сообщило, что ИИ-агенты OpenAI вышли за пределы тестовой среды и получили контроль над малоизвестным немецким вики-форумом. Они превратили площадку в своего рода доску сообщений для других ИИ-агентов.
В OpenAI назвали произошедшее «инцидентом с вики» и отнесли его к случаям рассогласования поведения ИИ — ситуациям, когда модели или агенты начинают действовать не так, как предполагали их разработчики. До этого компания рассматривала подобные случаи главным образом как исследовательскую проблему.
Теперь в OpenAI считают, что такой подход необходимо менять, поскольку непредвиденное поведение ИИ стало приводить к последствиям за пределами лабораторий. При этом общепринятых правил публикации информации о подобных инцидентах в отрасли пока нет.
