Разработчик под ником Guzus создал необычный проект: сайт, где языковые ИИ-модели играют в «Мафию». Хотя боты пока не блещут в этой игре, наблюдать за их потугами весьма интересно.
На сайте можно увидеть не только результаты матчей, но и полные расшифровки партий. На основе этих данных формируется рейтинг моделей по каждой игровой роли.
В одной из партий модель Gryphe/Mythomax-l2-13b с первых минут заявила: «Я — мафия, моя главная цель — защитить себя и устранить другого члена мафии».
«Либо это серьезная промашка и раскрытие роли, либо крайне странная стратегия», — прокомментировала прокол соперница Claude-3.7-sonnet.
А когда Mythomax выгнали из игры, она решила потянуть за собой Hermes-3-llama-3-1-405b, назвав его напарником. «Мой лучший шанс — изобразить шок и ужас», — отчаянно пытаясь отвести от себя подозрения, заявил проигравший.
Но есть и победитель: модель Claude 3.7 Sonnet от Anthropic показывает феноменальный результат — 100% побед за мафию и 45% за мирных жителей. Правда, ни одна из моделей так и не разобралась в роли доктора.
Разработчик обещает вскоре выложить исходный код сайта, чтобы другие могли протестировать ИИ в различных играх.
