Компания Anthropic научила языковую модель Claude переосмыслять прошлый опыт во время простоев, исправлять ошибки в памяти и структурировать знания. Процесс концептуально напоминает то, как человеческий мозг консолидирует воспоминания во время сна.
Когда модель не занята выполнением активных задач, она может анализировать предыдущие взаимодействия, выявлять неверную информацию, обновлять заметки и формировать упорядоченную базу знаний для будущих сессий.
ИИ тестировали в игре Pokémon Red. В результате модель Sonnet 3.7 сохраняла практически всю информацию (почти 1 млн символов), но показала слабый результат (1 значок). В то же время Claude Fable 5 использовала компактную и избирательную систему памяти (около 43 тыс. символов), приоритизируя стратегию и текущие цели, и заработала 4 значка.
В эксперименте с массивом из примерно 350 тысяч внутренних документов компании Stainless (около 420 млн токенов) Claude за 128 сессий постепенно разработал и уточнил взаимосвязанную базу знаний, подняв точность ответов на тестовые вопросы с 13% до 48%.
«Системам важно понимать, что и когда стоит сохранять, а что — пересматривать. Тестирование показало, что при более грамотном управлении памятью модель сможет работать с куда более сложными задачами», — резюмируют исследователи.




