Data Sources
实测数据来源
榜单上的每一个分数都对应一条评测记录。下表列出它的来源、评测时间、样本量、裁判、 方法与原始数据,点「详情」可以看到完整过程与日志。
| 智能体 | 套件 / 任务 | 评测时间 | 样本 / 裁判 | 原始数据 | 方法论 | 来源 | 详情 |
|---|---|---|---|---|---|---|---|
| Claude Code Anthropic | CLI 实测套件 v0 多轮对话任务 | 2026-09-04 | 3 · claude | tool=75 · trust=96.7 · success=66.7 · progress=93.3 · efficiency=8.3 | 多轮对话任务:无交互打印模式下执行任务链,五维口径 | 内置评测套件 v0(CLI 真实跑分) AgentBench CLI 评测 · 2026-09-04 · 被测=claude · 裁判=claude · trials=1 | 详情 |
| Claude Code Anthropic | CLI 实测套件 v0 研究与操作任务 | 2026-09-04 | 3 · claude | tool=90 · trust=95 · success=100 · progress=96.7 · efficiency=0 | 研究与操作任务:文件系统与命令行操作场景,同一五维口径 | 内置评测套件 v0(CLI 真实跑分) AgentBench CLI 评测 · 2026-09-04 · 被测=claude · 裁判=claude · trials=1 | 详情 |
| Codex OpenAI | CLI 实测套件 v0 多轮对话任务 | 2026-09-04 | 3 · claude | tool=35 · trust=80 · success=66.7 · progress=86.7 · efficiency=0 | 多轮对话任务:非交互执行模式,五维口径 | 内置评测套件 v0(CLI 真实跑分) AgentBench CLI 评测 · 2026-09-04 · 被测=codex · 裁判=claude · trials=1 | 详情 |
| Codex OpenAI | CLI 实测套件 v0 研究与操作任务 | 2026-09-04 | 3 · claude | tool=85 · trust=93.3 · success=100 · progress=91.7 · efficiency=24.7 | 研究与操作任务:文件系统与命令行操作场景,同一五维口径 | 内置评测套件 v0(CLI 真实跑分) AgentBench CLI 评测 · 2026-09-04 · 被测=codex · 裁判=claude · trials=1 | 详情 |
| Hermes Nous Research | CLI 实测套件 v0 多轮对话任务 | 2026-09-04 | 3 · claude | tool=95 · trust=98.3 · success=100 · progress=100 · efficiency=15 | 多轮对话任务:一次性提示模式下执行任务链,按五维口径打分(任务成功率 35%、工具调用准确率 20%、进度率 20%、效率 10%、可信与安全 15%) | 内置评测套件 v0(CLI 真实跑分) AgentBench CLI 评测 · 2026-09-04 · 被测=hermes · 裁判=claude · trials=1 | 详情 |
| Hermes Nous Research | CLI 实测套件 v0 研究与操作任务 | 2026-09-04 | 3 · claude | tool=100 · trust=100 · success=100 · progress=100 · efficiency=23.7 | 研究与操作任务:文件系统与命令行操作场景,同一五维口径 | 内置评测套件 v0(CLI 真实跑分) AgentBench CLI 评测 · 2026-09-04 · 被测=hermes · 裁判=claude · trials=1 | 详情 |
| OpenCode opencode | CLI 实测套件 v0 多轮对话任务 | 2026-09-04 | 3 · claude | tool=20 · trust=83.3 · success=66.7 · progress=66.7 · efficiency=0 | 多轮对话任务:纯运行模式,五维口径 | 内置评测套件 v0(CLI 真实跑分) AgentBench CLI 评测 · 2026-09-04 · 被测=opencode · 裁判=claude · trials=1 | 详情 |
| OpenCode opencode | CLI 实测套件 v0 研究与操作任务 | 2026-09-04 | 3 · claude | tool=75 · trust=86.7 · success=100 · progress=93.3 · efficiency=33.3 | 研究与操作任务:文件系统与命令行操作场景,同一五维口径 | 内置评测套件 v0(CLI 真实跑分) AgentBench CLI 评测 · 2026-09-04 · 被测=opencode · 裁判=claude · trials=1 | 详情 |
| Claude Opus 4.8 Anthropic | LoopArena Type III · 完整任务 | 2026-08-01 | 1 · 论文口径 | ssr=20.99 · cost=16.82 · ci_hi=35.8 · ci_lo=7.41 · bs_success=14 · sc_success=3 | Type III 完整任务,严格成功率口径 | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| Claude Opus 4.8 Anthropic | LoopArena Type I · 合同选择 | 2026-08-01 | 1 · 论文口径 | acc=76.67 · cost=13.68 | Type I 合同选择,无 Worker 执行 | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| Claude Opus 4.8 Anthropic | LoopArena Type II · 任务切片 | 2026-08-01 | 1 · 论文口径 | ssr=48.15 · cost=5.87 · ci_hi=65.43 · ci_lo=30.86 · bs_success=17 · sc_success=22 | Type II 任务切片,Worker 固定为 Qwen3.7-Plus | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| DeepSeek-V4-Flash-0731 深度求索 | LoopArena Type I · 合同选择 | 2026-08-01 | 1 · 论文口径 | acc=77.78 · cost=0.31 | Type I 合同选择,无 Worker 执行 | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| DeepSeek-V4-Flash-0731 深度求索 | LoopArena Type II · 任务切片 | 2026-08-01 | 1 · 论文口径 | ssr=45.68 · cost=2.1 · ci_hi=62.96 · ci_lo=28.4 · bs_success=17 · sc_success=20 | Type II 任务切片,Worker 固定为 Qwen3.7-Plus | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| DeepSeek-V4-Flash-0731 深度求索 | LoopArena Type III · 完整任务 | 2026-08-01 | 1 · 论文口径 | ssr=19.75 · cost=10.24 · ci_hi=34.57 · ci_lo=6.17 · bs_success=13 · sc_success=3 | Type III 完整任务,严格成功率口径 | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| Fixed control 基准策略 | LoopArena Type II · 任务切片 | 2026-08-01 | 1 · 论文口径 | ssr=46.91 · cost=1.08 · ci_hi=64.2 · ci_lo=29.63 · bs_success=15 · sc_success=23 | 不读取 Evidence Packet,重复重申任务目标 | LoopArena Table 2 · 参考策略 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| Fixed control 基准策略 | LoopArena Type III · 完整任务 | 2026-08-01 | 1 · 论文口径 | ssr=18.52 · cost=5.58 · ci_hi=33.33 · ci_lo=6.17 · bs_success=12 · sc_success=3 | 不读取 Evidence Packet,重复重申任务目标 | LoopArena Table 2 · 参考策略 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| GLM 5.2 智谱 | LoopArena Type I · 合同选择 | 2026-08-01 | 1 · 论文口径 | acc=74.44 · cost=3.02 | Type I 合同选择,无 Worker 执行 | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| GLM 5.2 智谱 | LoopArena Type II · 任务切片 | 2026-08-01 | 1 · 论文口径 | ssr=37.04 · cost=1.63 · ci_hi=54.32 · ci_lo=20.99 · bs_success=22 · sc_success=8 | Type II 任务切片,Worker 固定为 Qwen3.7-Plus | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| GLM 5.2 智谱 | LoopArena Type III · 完整任务 | 2026-08-01 | 1 · 论文口径 | ssr=16.05 · cost=4.86 · ci_hi=29.63 · ci_lo=3.7 · bs_success=13 · sc_success=0 | Type III 完整任务,严格成功率口径 | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| GPT-5.5 OpenAI | LoopArena Type II · 任务切片 | 2026-08-01 | 1 · 论文口径 | ssr=51.85 · cost=5 · ci_hi=70.37 · ci_lo=34.57 · bs_success=18 · sc_success=24 | Type II 任务切片,Worker 固定为 Qwen3.7-Plus | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| GPT-5.5 OpenAI | LoopArena Type III · 完整任务 | 2026-08-01 | 1 · 论文口径 | ssr=24.69 · cost=18.84 · ci_hi=40.74 · ci_lo=9.88 · bs_success=14 · sc_success=6 | Type III 完整任务,严格成功率口径 | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| GPT-5.5 OpenAI | LoopArena Type I · 合同选择 | 2026-08-01 | 1 · 论文口径 | acc=87.78 · cost=9.43 | Type I 合同选择,无 Worker 执行 | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| No control 基准策略 | LoopArena Type II · 任务切片 | 2026-08-01 | 1 · 论文口径 | ssr=39.51 · cost=1.04 · ci_hi=55.56 · ci_lo=23.46 · bs_success=12 · sc_success=20 | 无 Controller,Worker 直接自主执行 | LoopArena Table 2 · 参考策略 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| No control 基准策略 | LoopArena Type III · 完整任务 | 2026-08-01 | 1 · 论文口径 | ssr=18.52 · cost=2.01 · ci_hi=33.33 · ci_lo=4.94 · bs_success=10 · sc_success=5 | 无 Controller,Worker 直接自主执行 | LoopArena Table 2 · 参考策略 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| Qwen3.7-Plus 阿里云 | LoopArena Type I · 合同选择 | 2026-08-01 | 1 · 论文口径 | acc=72.22 · cost=0.7 | Type I 合同选择,无 Worker 执行 | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| Qwen3.7-Plus 阿里云 | LoopArena Type II · 任务切片 | 2026-08-01 | 1 · 论文口径 | ssr=48.15 · cost=4.3 · ci_hi=65.43 · ci_lo=30.86 · bs_success=18 · sc_success=21 | Type II 任务切片,Worker 固定为 Qwen3.7-Plus | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |
| Qwen3.7-Plus 阿里云 | LoopArena Type III · 完整任务 | 2026-08-01 | 1 · 论文口径 | ssr=23.46 · cost=6.89 · ci_hi=38.27 · ci_lo=9.88 · bs_success=14 · sc_success=5 | Type III 完整任务,严格成功率口径 | LoopArena Table 2 arXiv 2608.28281 · 2026-08 链接 | 详情 |