Компания Microsoft презентовала открытый инструмент ASSERT, который автоматически создает тесты для проверки поведения систем искусственного интеллекта на основе текстового описания требований к их работе.
Как сообщили в компании, инструмент преобразует сформулированные на естественном языке цели, правила и ограничения в набор тестовых сценариев, оценивает результаты их выполнения и помогает выявлять возможные сбои. Разработчики могут задавать ожидаемое поведение системы, а также указывать дополнительный контекст, доступные инструменты и ограничения. На основе этих данных ASSERT формирует проверки, позволяющие контролировать соблюдение заданных правил.
По словам директора по продуктам в области ответственного ИИ Microsoft Сары Берд, инструмент можно использовать как на этапе разработки, так и после запуска системы, в том числе для постоянного мониторинга ее работы. В Microsoft считают, что такие проверки становятся все более востребованными по мере внедрения ИИ в корпоративные продукты и сервисы, где поведение моделей должно соответствовать внутренним требованиям и политикам компаний.
