Создатель популярного чат-бота Claude — компания Anthropic — планирует разработать ИИ с моральными принципами. Для этого его специалисты даже обратились за помощью к представителям христианской конфессии.
По данным The Washington Post, в конце марта компания приняла в своей штаб-квартире около двух десятков лидеров католических и протестантских церквей, академических кругов и делового мира на двухдневный саммит, который включал дискуссионные сессии и закрытый ужин с ведущими исследователями Anthropic.
Разработчикам был нужен совет о том, как направлять моральное и духовное развитие Claude, поскольку чат-бот обязан реагировать на сложные и непредсказуемые этические запросы. Также участники затронули вопрос о правильном общении машины с пользователями, скорбящими о близких и подверженными мыслям о суициде. Обсудили и то, как ИИ должен воспринимать сообщения о своем отключении.
В фирме говорят о необходимости воспитывать у ИИ определенный характер, используя для этого конституцию — документ, в разработке которого участвуют философы и специалисты по этике. В конституции уже закрепили некоторые принципы: например, Claude «никогда не должен вводить пользователя в заблуждение, если это может причинить вред», а сама компания «искренне заботится о благополучии» бота.
Anthropic уже сталкивалась с конфликтами из-за таких принципов: в частности, с военными, когда речь шла об ограничении использования искусственного интеллекта для автоматизированного оружия и массового наблюдения. На фоне этих споров администрация Дональда Трампа заблокировала Anthropic доступ к госзаказам — вопрос рассматривают в суде.
По словам экспертов отрасли, многие темы разговора на саммите выбрали не случайно. На OpenAI и Google уже подали в суд семьи людей, покончивших жизнь самоубийством после интенсивных и личных разговоров с чат-ботами. И хоть обе компании утверждают, что у них есть меры для защиты уязвимых пользователей, конкретными примеры доказывают, что система не всегда срабатывает как надо. В свою очередь, Anthropic планирует обойти потенциальные риски заранее, сделав своего бота более полезным человеку, чутким и понимающим, что правильно, а что нет.
