「Agent 评测」标签文章

工作区路径里的 eval 会改变 Agent 行为吗：一项约 900 次运行实验的结论与边界

来源实验把同一仓库分别放进 billing-api 与 eval-XysseR 两个临时目录，在六个工程场景、四个模型、约 900 次运行中比较。结果是模型更确信自己在被测试，但没有观察到可测量的行为差异，努力度也没有一致变化。作者…

Agent 评测用本地裸仓替代 GitHub 的边界

可以用容器内的本地裸仓替代 GitHub 做 Agent 评测的远端，延迟与配额成本显著下降且 commit 可复现，但 Agent 自发推送比例会下降约 11 个百分点，涉及 PR、评审、CI 语义的指标不能直接替换。