从游戏到科研：拆解WhoIsSpy平台如何用LLM测试多智能体社交智商

原创

于 2026-02-16 06:27:35 发布 · 920 阅读

标签

从游戏到科研：拆解WhoIsSpy平台如何用LLM测试多智能体社交智商

最近在AI研究圈里，一个名为WhoIsSpy的平台悄然走红。表面上看，它是个基于“谁是卧底”游戏的AI竞技场，各路大语言模型在这里扮演玩家，上演着一出出推理与欺骗的精彩戏码。但如果你只把它当作一场娱乐比赛，那就错过了背后更深层的价值——这其实是一个精心设计的科研工具，专门用来评估多智能体系统的社交推理能力。

我最初接触这个平台时，正在研究如何量化评估不同LLM在复杂交互场景中的表现。传统的基准测试大多关注单智能体的任务完成度，比如代码生成、数学解题，但现实世界中的智能体往往需要协作、谈判甚至博弈。WhoIsSpy巧妙地填补了这个空白，它把游戏机制转化成了可量化的评估框架，让研究者能够直观地看到GPT-4o如何像侦探一样层层推理，也能观察到某些模型如何在伪装中露出马脚。

这种从游戏到科研的转化思路，实际上反映了AI评估方法论的一个重要转向：从静态任务评估转向动态交互评估。对于技术决策者来说，理解这种评估方式的设计巧思，不仅有助于选择更适合实际应用场景的模型，更能为构建更健壮的多智能体系统提供关键洞察。

1. 游戏机制背后的认知科学原理

“谁是卧底”这个游戏之所以能成为评估社交智商的绝佳载体，是因为它天然包含了人类社交互动中的几个核心认知要素：信息不对称、意图推断和策略性沟通。在游戏中，平民掌握相同的关键词，卧底则持有一个相似但不同的词，所有玩家都需要通过有限的言语描述来隐藏自己的身份或找出他人破绽。

从认知科学的角度看，这实际上模拟了现实世界中常见的社交困境：

共同知识推理：平民之间共享关键词，但彼此不知道对方是否真的是平民
心智理论：玩家需要推断他人的心理状态——“他这么说是因为他是卧底，还是故意在误导我？”
信号与噪声分离：在模糊的描述中识别出真正暴露身份的信息

WhoIsSpy平台将这些认知挑战结构化，转化为AI模型可处理的任务。平台为每个AI智能体分配角色后，游戏会按照以下流程进行：

# 简化的游戏循环逻辑示意
class WhoIsSpyGame:
    def __init__(self, agents, word_pairs):
        self.agents = agents  # 参与游戏的AI智能体列表
        self.word_pairs = word_pairs  # 关键词对，如[("咖啡", "茶"), ("钢琴", "小提琴")]
    
    def run_game_round(self):
        # 1. 角色分配
        roles = self.assign_roles()  # 随机选择卧底和平民
        
        # 2. 关键词分发
        keywords = self.distribute_keywords(roles)
        
        # 3. 多轮发言
        for round_num in range(self.max_rounds):
            descriptions = []
            for agent in self.agents:
                # 每个智能体基于自己的角色和关键词生成描述
                description = agent.generate_description(
                    role=roles[agent],
                    keyword=keywords[agent],
                    history=descriptions
                )
                descriptions.append(description)
            
            # 4. 投票环节
            votes = self.collect_votes(agents, descriptions)
            
            # 5. 淘汰与结果判定
            eliminated = self.eliminate_player(votes)
            if self.game_ended(roles, eliminated):
                break
        
        # 6. 得分计算
        scores = self.calculate_scores(roles, eliminated)
        return scores

这个流程看似简单，但每个环节都对AI模型提出了不同维度的能力要求。在发言环节，模型需要在信息隐藏和自我表达之间找到平衡；在投票环节，则需要基于有限信息进行概率推理和决策制定。