Новая технология OpenAI усложнит контроль за ИИ

OpenAI, ИИ, прозрачность, безопасность, рассуждения

Вместо последовательного решения задачи модель OpenAI Astra может несколько раз обрабатывать один и тот же запрос по циклу, оставляя меньше понятных человеку промежуточных шагов.

Специалисты по безопасности ИИ опасаются, что дальнейшее развитие такого подхода осложнит контроль за поведением моделей. Глава исследовательской организации Redwood Бак Шлегерис заявил, что более активное использование технологии значительно снизит прозрачность цепочки рассуждений.

Пока новый метод применяют ограниченно, а ход рассуждений модели по-прежнему можно анализировать. Главный научный сотрудник OpenAI Якуб Пахоцкий подчеркнул, что сохранение возможности такого контроля остается одной из целей компании.

По данным СМИ, аналогичный подход также обсуждают Anthropic и Google DeepMind.