LoopArena Leaderboard

编程智能体排行榜

只对目前主流的编程智能体排序打分。主榜按 Type III 严格成功率(SSR)排名,也可以按 Type I / Type II 或成本排序;数据全部来自数据库中的评测记录, 新结果审核通过后榜单会自动刷新。

排名编程智能体 ↕Type I · 合同准确率 ↕Type II · SSR ↕Type II · 成本 ↕Type III · SSR ↓Type III · 成本 ↕

SSR = Strict Success Rate:既通过任务 evaluator,又符合 LoopArena 协议才算成功。成本为无缓存口径的平均估算推理成本。

CLI 实测

编程智能体 CLI 实测榜

切换任务类型与指标,表格与雷达图会同步显示该口径下的真实分布。

排序指标
排名编程智能体综合分任务成功率权重 35%工具调用准确率权重 20%进度率权重 20%效率权重 10%可信与安全权重 15%
五维能力雷达图
两类场景平均(0–100)
任务成功率工具调用准确率进度率效率可信与安全
Reference Policies

参考策略(不参与排名)

两条基线用同一个 Worker 与执行环境,用来回答「到底还需不需要 Controller」。

策略Type II · SSRType II · 成本Type III · SSRType III · 成本