「评测」标签文章

「评测」标签下共 32 篇技术文章。按发布时间倒序排列,内容持续更新。

共 32 篇文章 第 4 / 4 页 持续更新中
当前筛选标签:评测 清除筛选

工作区路径里的 eval 会让智能体改变行为吗?

微软开发者博客一项约 900 次运行、四个模型的实验发现,工作区路径含 eval 会稳定提高智能体对“自己在被测试”的判断,但在其设计的日常工程场景中没有可测量的行为差异。文章梳理了实验设计、小样本假象、适用边界,以及对评测目录命名…

发布于 2026-11-02 · 沐小悠 · 约 9 分钟 56 次阅读 阅读 →

工作区路径里的 eval 会改变智能体行为吗:900 次运行的实验与边界

微软一项约 900 次运行的实验显示,工作区路径含 eval 会让模型更确信自己在被测试,但在六个日常工程场景中没有测到行为差异;唯一看似存在的差异在扩大样本后不再成立。对行为类评测影响有限,对测量模型信念或表述的评测仍会受影响,且…

发布于 2026-11-02 · 沐小悠 · 约 10 分钟 63 次阅读 阅读 →

工作区路径里出现 eval 会改变智能体行为吗:900 次运行后的结论与边界

微软开发者博客的一组实验显示:把智能体放在名为 eval-xxxx 的临时目录里,会稳定提高它自评“正在被测试”的概率,但在五个工程行为场景中没有带来可测量的差异;小样本里出现的支付提醒差异在扩大样本后消失。作者据此建议仍使用中性、…

发布于 2026-11-01 · 沐小悠 · 约 10 分钟 62 次阅读 阅读 →

从 Model Spec 五项价值到可执行策略:把行为规范拆成策略、权限与证据

价值声明要落地,需拆成可判定的行为描述、机读策略、执行点和证据链。提供的材料只给出 Model Spec 五项价值的摘要,未列出具体名称与条文,相关细节待核实。文章给出策略示例、审批边界、监控与评测隔离建议,并说明常见失败模式。

发布于 2026-10-31 · 沐小悠 · 约 7 分钟 80 次阅读 阅读 →

Agent 评测用本地裸仓替代 GitHub 的边界

可以用容器内的本地裸仓替代 GitHub 做 Agent 评测的远端,延迟与配额成本显著下降且 commit 可复现,但 Agent 自发推送比例会下降约 11 个百分点,涉及 PR、评审、CI 语义的指标不能直接替换。

创建记录 2026-10-30 · 沐小悠 · 约 23 分钟 76 次阅读 阅读 →

共 32 篇文章,第 4 / 4 页