Прогресс в развитии так называемых рассуждающих нейросетей — ИИ-моделей, способных выполнять сложные логические и математические задачи, — может значительно замедлиться уже в течение ближайшего года. Об этом говорят исследователи аналитического центра Epoch AI.
Речь идет о системах, подобных модели o3 от OpenAI, которые показывают высокую точность в решении задач благодаря активному использованию вычислительных ресурсов. Однако увеличение точности часто сопровождается снижением скорости обработки данных.
По данным Epoch, основное развитие таких моделей происходит на этапе обучения с подкреплением — когда ИИ получает обратную связь за правильные или неправильные решения. Именно на этом этапе разработчики начали использовать в разы больше вычислительной мощности: обучение o3 потребовало в 10 раз больше ресурсов, чем предыдущей версии — o1. При этом основная нагрузка пришлась именно на этап с подкреплением.
Исследователи предупреждают, что такой подход не бесконечно масштабируем. Если традиционное обучение дает примерно четырехкратный прирост производительности в год, то у методов с подкреплением темпы роста пока в 10 раз выше, но они быстро приближаются к техническим и финансовым ограничениям.
Кроме того, такие системы часто подвержены «галлюцинациям» — генерации вымышленных или ошибочных данных. Это делает их менее надежными по сравнению с более простыми ИИ-моделями и вызывает обеспокоенность у инвесторов, учитывая высокую стоимость исследований в этой области.
