Исследователи из США предложили гипотезу «Brain Rot (гниение мозга) для больших языковых моделей» и провели эксперименты, чтобы проверить ее на практике. Они обнаружили, что постоянное обучение ИИ на «мусорных» данных из соцсетей — поверхностных постах — ведет к ощутимому падению когнитивных способностей моделей.
Эксперименты показали, что такие модели хуже справляются с логическим рассуждением, пониманием длинных текстов и соблюдением этических норм. У нейросети стали проявляться «темные черты личности» — психопатия и нарциссизм. Чем больше «мусора» в обучающих данных, тем сильнее ухудшение: точность моделей по сложным тестам падала почти на треть.
Ученые отметили, что даже последующее дообучение на чистых данных улучшает результаты лишь частично — базовые способности моделей не восстанавливаются полностью. Особое влияние на «Brain Rot» оказывает популярность постов, а не их длина или содержание.
