Evaluation Calendar

评测日历

按排期定期跑新模型的 CLI 实测。到期项目在这里提醒，跑完后通过提交表单登记结果，审核通过后排行榜、雷达图与维度表自动刷新，不需要改数据文件。

定时自动跑测（一次配置，后续全自动）

CLI 模型只能在你自己的机器上运行，所以定时任务装在你这边，结果由网站自动接收。在项目目录执行下面一行，就会每周一凌晨 3 点自动评测一次，跑完把成绩、每步耗时和工具调用日志直接写入排行榜、雷达图、维度表与结果库，对应排期自动标记完成并顺延。

AB_INGEST_TOKEN=<你的口令> ./scripts/install-cron.sh "Claude Code" "claude -p" Anthropic

想先看一次结果而不上传，可以跑 node scripts/run-cli-eval.mjs --agent "Claude Code" --cmd "claude -p" --dry。任务集在 scripts/eval-tasks.json，可自行增删题目。手动结果仍可用提交表单登记。

Cursor

已排期

计划日期 2026-09-20 · 每月

CLI 实测套件 v0 · 待跑内置 CLI 评测套件 v0

Gemini CLI

已排期

计划日期 2026-09-25 · 每月

CLI 实测套件 v0 · 待跑内置 CLI 评测套件 v0

Aider

已排期

计划日期 2026-10-05 · 每月

CLI 实测套件 v0 · 待跑内置 CLI 评测套件 v0

Devin

已排期

计划日期 2026-10-15 · 每季度

CLI 实测套件 v0 · 需要账号权限

Windsurf

已排期

计划日期 2026-10-20 · 每季度

CLI 实测套件 v0 · 待排期

Trae

已排期

计划日期 2026-10-28 · 每季度

CLI 实测套件 v0 · 待排期

最近已完成的评测