长链路测试修正:让上下文不腐烂
反复跑测试改代码时,会话历史会变成过期缓存。用四件套文件把事实搬出对话,每轮重建而不是续用。
先给结论:长链路里,上下文不需要「保鲜」,只需要「每轮重建」。
会话历史是一份会被压缩、会过期的缓存。链条越长,你越不能指望它记得「哪条结论是第几轮得出的、后来被谁推翻了」。正确做法是把事实搬到磁盘,让对话退回成一次性工作区。
腐烂的四种症状
- 事实过期:文件已改、报错已消失,模型还在引用三轮前的错误结论。
- 结论矛盾:同一问题出现两种说法,后写的覆盖先写的,但没人知道哪个是对的。
- 方案漂移:一轮轮修下去,离原始验收标准越来越远,最后修的是「上一轮理解的 bug」。
- 死路复燃:上一轮已经否定的方案,换个会话又提出来,再走一遍。
四者同一个根因:把会话历史当事实源。
再看量级。单步成功率 95%,十步串行大约是 0.95^10 ≈ 60%(示意估算,不是实测)。中兴在 200 步以上的业务链路上给出的改造前数据是「无人干预完成率 50%」,正是这个效应的极端形态(Co-Sight Harness 论文)。所以长链路的关键不是换更强模型,而是降低对「模型记得住」的依赖。
五条机制
1. 状态外置,模型只读写文件
结论全部落文件,对话里不保存任何「当前状态」。这正是 Co-Sight Harness 的「控制资产外置」:目标、计划、状态、验收标准、证据都是可版本化的文件,模型只能改业务产物,改不了流程状态(README)。
文件不能多,四份就够,多了维护成本会反噬。
| 文件 | 内容 | 写模式 |
|---|---|---|
TASK.md | 目标、验收标准、不变量(不允许被打破的约束) | 只读,除非人类改需求 |
STATE.md | 当前步、已完成、下一步、已知阻塞 | 覆盖写 |
EVIDENCE.md | 命令 + 关键输出摘要 + 时间 | 只追加 |
DECISIONS.md | 决策、被否方案、否决理由 | 只追加 |
关键在 STATE.md 覆盖写。追加式日志几轮之后自己就变成了新的历史,又回到压缩、又回到腐烂。
2. 每轮从磁盘重建事实
新一轮开头不读上一轮结论,只跑三件事:
git status / git diff 看真实改了什么
跑一次测试 拿当前失败集合,不信「上一轮说修好了」
读 STATE.md + TASK.md 拿目标、当前步、不变量上一轮的「已修复」在证据被重放之前,一律当作「未证明」。
3. 每轮限窗
只注入三类内容:本轮失败用例、相关文件的必要片段、不变量。不注入完整对话,不注入全仓摘要。
反直觉但重要:链条越长,单轮看到的应该越少。看得多不等于判断准,只会让过期信息和新鲜信息混在一起。
4. 生成与验收分离
修正和判定不能由同一个上下文完成。让一个干净上下文(新会话或子 Agent)只看 TASK.md 的验收标准和 EVIDENCE.md,输出通过 / 不通过。
原因很直白:自写自审必然降低标准。LoopForge 用「角色分离」实现这一点——评审、测试、实现是不同角色,配不同提示词和执行器(README);Co-Sight Harness 更彻底,生成与评估的上下文直接隔离,评估不过就带证据打回。
5. 失败账本 + 熔断
DECISIONS.md 必须记录被否方案和否决理由。它的作用不是留档,是防止下一轮重新提。
配合硬性熔断,任一条触发就停:
同一用例连续 3 轮失败
同一报错换 2 种方案仍无效
单轮改动文件数超过预定切片
总轮次超过预算不熔断的长循环,只会在某个局部极值上原地打转,还越转越自信。
每轮的标准动作
[轮首]
跑测试,生成当前失败集合
覆盖写 STATE.md
若触发熔断条件 → 停,写阻塞点给人
[执行]
只读:失败用例 + 相关片段 + 不变量 + DECISIONS 中的否决项
只改:1~2 个用例涉及的最小范围
追加 EVIDENCE.md:命令、输出摘要、结论
[轮尾]
若做了取舍 → 追加 DECISIONS.md
交给独立上下文做验收
通过 → 更新 STATE.md 进入下一片;不通过 → 带着证据回到轮首和三个产品对照
| 机制 | LoopForge | Co-Sight Harness | HiFox |
|---|---|---|---|
| 状态外置 | SOP 图 + 运行记录 | .drive/ 控制资产文件 | 任务状态写回看板 |
| 每轮重建 | 每阶段重新加载角色上下文 | 阶段切换重读控制文件 | 任务上下文由平台重新组装 |
| 限窗 | 每角色独立会话 | 分阶段、分批并行 | 每任务独立 worktree |
| 独立验收 | 评审 / 测试角色分离 | 评估器与生成器隔离,带 Golden Set | 人工验收 + 看板留痕 |
| 熔断 | 验收不过打回重跑,有轮次上限 | 评估不过打回,超限升级人工 | 阻塞项只进人的收件箱 |
三者层级不同,但这一层设计思路是共通的:没有人靠「记住」来保证长链路质量。
反模式清单
| 不要 | 改成 |
|---|---|
| 把当前状态写在对话里,靠记忆 | 覆盖写 STATE.md |
| 每轮追加完整历史 | 覆盖式状态 + 追加式证据 |
| 同一个 Agent 写完自己判 | 独立验收上下文 |
| 一轮修 10 个用例 | 一次 1~2 个,缩小爆炸半径 |
| 失败方案重试第三次 | 写进否决项并熔断 |
| 用「总结」替代原始证据 | 保留失败用例原文和输出片段 |
| 用压缩后的会话继续跑 | 新会话 + 四件套文件重启 |
两个典型场景
测试修复长循环:失败集合是天然的分片依据。每轮只取 1~2 条,EVIDENCE.md 记命令与输出,DECISIONS.md 记「为什么选这个改法、否掉了哪些」。验收交给干净上下文重跑全量,而不是让修的人自己说过了。
RAG 调参长循环:这类链路更容易腐烂,因为每轮都在改「策略」而不是改「代码」。必须固定三件事:评测集版本、基线指标、变更理由。否则十轮之后没人说得清当前配置为什么是这个。评测集和指标的版本号写进 TASK.md 的验收标准里,任何一次调参都要在 EVIDENCE.md 里有对应的前后对比。
一句话记法
事实写盘、每轮重建、限窗执行、独立验收、否决留痕、超限熔断。
对话越短,长链路越稳。
最后编辑于