Ученые из Технологического института Джорджии (США) разработали систему AI Psychiatry, которая позволяет восстанавливать работу искусственного интеллекта после сбоя и проводить «цифровую диагностику», чтобы понять, что именно пошло не так.
Инструмент создает цифровую копию сбойной модели нейросети на основе снимка памяти, сделанного в момент отказа системы. Затем восстановленный ИИ можно протестировать в безопасной среде, в том числе с использованием возможных вредоносных входных данных. Это позволяет определить источник ошибки, будь то программная уязвимость, внешняя атака или внутренний сбой логики.
«Если ИИ не виноват, его можно исключить и искать причину в другом компоненте, например, в аппаратной части», — поясняют разработчики.
AI Psychiatry уже протестировали на 30 моделях, в том числе с намеренно встроенными сбоями (так называемыми «бэкдорами»). Система успешно восстановила и проанализировала поведение всех нейросетей, включая тех, которые применяют в беспилотных автомобилях.
Главное преимущество подхода — универсальность: инструмент работает с любой моделью, созданной на основе популярных фреймворков машинного обучения, и не требует знания ее архитектуры. Разработка имеет открытый исходный код, ее можно использовать для судебной экспертизы, аудита и кибербезопасности.
AI Psychiatry уже называют потенциальной основой стандартов цифровой проверки ИИ-систем — особенно в тех сферах, где нейросети принимают решения, влияющие на безопасность и права граждан.
