AI Signal Brief — 2026-W16

本周 arXiv 上出现了一个有趣的模式：不是更多的 Agent 框架，而是更多的 Agent 考试。PilotBench（航空安全约束）、SEA-Eval（自我演化能力）、MR-Bench（医疗推理）——每个垂直领域都在建自己的 Agent 评估基准。

当一个领域开始疯狂建基准测试时，说明它刚经历了"什么都能做"的炒作阶段，正在进入"证明你真能做"的清算阶段。

Agent 需要考试了

之前评估 Agent 的方式是：在一个简化的模拟环境里跑一个任务，看成功率。问题是——模拟环境和真实世界差距太大，高分不代表可用。

本周涌现的新基准有一个共同特点：它们关注的不是"能不能完成任务"，而是"能不能在约束下完成任务"。

PilotBench 要求 Agent 在严格的航空安全约束下做决策——不只是"对不对"，还有"是否违反了安全规则"。这是从"性能评估"到"合规评估"的跨越。你的 Agent 可能能写出正确的代码，但它写代码的过程中有没有访问它不该访问的文件？

SEA-Eval 更有趣：它评估 Agent 的"自我演化"能力——跨多个 episode 的技能积累和工具集扩展。不是"你现在能做什么"，而是"你能学会做什么"。这直接关联 W08-W11 的记忆架构讨论——没有好的记忆系统，Agent 就无法演化。

本周另一个重要信号是"导师-学生"（Tutor-Student）多智能体交互模式的研究。核心发现：通过角色化的结构化信息交换（而非简单的并行工具调用），问题求解能力显著提升。

这与直觉一致。两个模型并行工作然后合并结果，和两个模型以师生角色互相提问挑战，产出质量完全不同。后者引入了"认知摩擦"——一方质疑另一方的假设，迫使推理更加严谨。

对工程师的启示：如果你在用多 Agent 系统，不要让它们只是"分工"，让它们"辩论"。一个 Agent 提出方案，另一个 Agent 试图找出方案中的漏洞。这比单个 Agent 的 self-reflection 更有效，因为另一个 Agent 没有原始方案的"作者偏见"。

框架层面，pydantic-ai 本周添加了 CapabilityOrdering 和 OpenTelemetry 集成。前者让你控制 capability 的执行顺序，后者让 Agent 的每一步都可被追踪和度量。

这些听起来不性感，但它们是把 Agent 从"玩具"变成"产品"的关键缺失件。没有可观测性的 Agent 就像没有日志的服务——出问题了你不知道哪里坏了，表现好的时候你不知道为什么好。

如果你的 Agent 系统涉及多个 Agent 协作，尝试引入一个"Critic Agent"角色——它不执行任务，只负责质疑其他 Agent 的输出。给它的 system prompt 很简单："找出这个方案中的漏洞和隐含假设"。成本很低（多一次 API 调用），但对输出质量的提升可能让你惊讶。

垂直领域 Agent 基准的涌现意味着下周会有"Agent 在真实环境中的表现到底怎样"的讨论。如果基准显示的表现与 demo 差距太大（剧透：会的），社区会开始更审慎地评估 Agent 的生产就绪度。