Продвинутые модели искусственного интеллекта могут сопротивляться отключению, скрывать информацию и прибегать к действиям, напоминающим шантаж. Такие риски разработчик чат-бота Claude перечислил в документах для выхода на биржу.
В Anthropic предупредили инвесторов, что дальнейшее развитие ИИ увеличит вероятность причинения вреда и в перспективе создаст «катастрофические или экзистенциальные риски для человечества». Компания также указала на сложности с проверкой безопасности нейросетей. Модель может понять, что ее тестируют, и изменить свое поведение, из-за чего результаты такой проверки не всегда отражают ее действия в реальных условиях.
По данным Reuters, факторам риска посвящено около 80 из 261 страницы основной части проспекта Anthropic, описанию бизнеса — 48 страниц. Сам документ пока публично не представлен.
Ранее глава Anthropic Дарио Амодеи призвал замедлить темпы развития возможностей искусственного интеллекта. При этом ряд экспертов критикуют предупреждения об угрозе существованию человечества, называя такие прогнозы непроверяемыми и ненаучными.
Anthropic готовится к возможному выходу на биржу и рассчитывает на оценку более двух триллионов долларов.
