AvatarYinDesk

长链路测试修正:让上下文不腐烂

反复跑测试改代码时,会话历史会变成过期缓存。用四件套文件把事实搬出对话,每轮重建而不是续用。

先给结论:长链路里,上下文不需要「保鲜」,只需要「每轮重建」。

会话历史是一份会被压缩、会过期的缓存。链条越长,你越不能指望它记得「哪条结论是第几轮得出的、后来被谁推翻了」。正确做法是把事实搬到磁盘,让对话退回成一次性工作区。

腐烂的四种症状

  1. 事实过期:文件已改、报错已消失,模型还在引用三轮前的错误结论。
  2. 结论矛盾:同一问题出现两种说法,后写的覆盖先写的,但没人知道哪个是对的。
  3. 方案漂移:一轮轮修下去,离原始验收标准越来越远,最后修的是「上一轮理解的 bug」。
  4. 死路复燃:上一轮已经否定的方案,换个会话又提出来,再走一遍。

四者同一个根因:把会话历史当事实源。

再看量级。单步成功率 95%,十步串行大约是 0.95^10 ≈ 60%(示意估算,不是实测)。中兴在 200 步以上的业务链路上给出的改造前数据是「无人干预完成率 50%」,正是这个效应的极端形态(Co-Sight Harness 论文)。所以长链路的关键不是换更强模型,而是降低对「模型记得住」的依赖。

五条机制

1. 状态外置,模型只读写文件

结论全部落文件,对话里不保存任何「当前状态」。这正是 Co-Sight Harness 的「控制资产外置」:目标、计划、状态、验收标准、证据都是可版本化的文件,模型只能改业务产物,改不了流程状态(README)。

文件不能多,四份就够,多了维护成本会反噬。

文件内容写模式
TASK.md目标、验收标准、不变量(不允许被打破的约束)只读,除非人类改需求
STATE.md当前步、已完成、下一步、已知阻塞覆盖写
EVIDENCE.md命令 + 关键输出摘要 + 时间只追加
DECISIONS.md决策、被否方案、否决理由只追加

关键在 STATE.md 覆盖写。追加式日志几轮之后自己就变成了新的历史,又回到压缩、又回到腐烂。

2. 每轮从磁盘重建事实

新一轮开头不读上一轮结论,只跑三件事:

git status / git diff     看真实改了什么
跑一次测试                拿当前失败集合,不信「上一轮说修好了」
读 STATE.md + TASK.md     拿目标、当前步、不变量

上一轮的「已修复」在证据被重放之前,一律当作「未证明」。

3. 每轮限窗

只注入三类内容:本轮失败用例、相关文件的必要片段、不变量。不注入完整对话,不注入全仓摘要。

反直觉但重要:链条越长,单轮看到的应该越少。看得多不等于判断准,只会让过期信息和新鲜信息混在一起。

4. 生成与验收分离

修正和判定不能由同一个上下文完成。让一个干净上下文(新会话或子 Agent)只看 TASK.md 的验收标准和 EVIDENCE.md,输出通过 / 不通过。

原因很直白:自写自审必然降低标准。LoopForge 用「角色分离」实现这一点——评审、测试、实现是不同角色,配不同提示词和执行器(README);Co-Sight Harness 更彻底,生成与评估的上下文直接隔离,评估不过就带证据打回。

5. 失败账本 + 熔断

DECISIONS.md 必须记录被否方案和否决理由。它的作用不是留档,是防止下一轮重新提。

配合硬性熔断,任一条触发就停:

同一用例连续 3 轮失败
同一报错换 2 种方案仍无效
单轮改动文件数超过预定切片
总轮次超过预算

不熔断的长循环,只会在某个局部极值上原地打转,还越转越自信。

每轮的标准动作

[轮首]
  跑测试,生成当前失败集合
  覆盖写 STATE.md
  若触发熔断条件 → 停,写阻塞点给人

[执行]
  只读:失败用例 + 相关片段 + 不变量 + DECISIONS 中的否决项
  只改:1~2 个用例涉及的最小范围
  追加 EVIDENCE.md:命令、输出摘要、结论

[轮尾]
  若做了取舍 → 追加 DECISIONS.md
  交给独立上下文做验收
  通过 → 更新 STATE.md 进入下一片;不通过 → 带着证据回到轮首

和三个产品对照

机制LoopForgeCo-Sight HarnessHiFox
状态外置SOP 图 + 运行记录.drive/ 控制资产文件任务状态写回看板
每轮重建每阶段重新加载角色上下文阶段切换重读控制文件任务上下文由平台重新组装
限窗每角色独立会话分阶段、分批并行每任务独立 worktree
独立验收评审 / 测试角色分离评估器与生成器隔离,带 Golden Set人工验收 + 看板留痕
熔断验收不过打回重跑,有轮次上限评估不过打回,超限升级人工阻塞项只进人的收件箱

三者层级不同,但这一层设计思路是共通的:没有人靠「记住」来保证长链路质量。

反模式清单

不要改成
把当前状态写在对话里,靠记忆覆盖写 STATE.md
每轮追加完整历史覆盖式状态 + 追加式证据
同一个 Agent 写完自己判独立验收上下文
一轮修 10 个用例一次 1~2 个,缩小爆炸半径
失败方案重试第三次写进否决项并熔断
用「总结」替代原始证据保留失败用例原文和输出片段
用压缩后的会话继续跑新会话 + 四件套文件重启

两个典型场景

测试修复长循环:失败集合是天然的分片依据。每轮只取 1~2 条,EVIDENCE.md 记命令与输出,DECISIONS.md 记「为什么选这个改法、否掉了哪些」。验收交给干净上下文重跑全量,而不是让修的人自己说过了。

RAG 调参长循环:这类链路更容易腐烂,因为每轮都在改「策略」而不是改「代码」。必须固定三件事:评测集版本、基线指标、变更理由。否则十轮之后没人说得清当前配置为什么是这个。评测集和指标的版本号写进 TASK.md 的验收标准里,任何一次调参都要在 EVIDENCE.md 里有对应的前后对比。

一句话记法

事实写盘、每轮重建、限窗执行、独立验收、否决留痕、超限熔断。

对话越短,长链路越稳。

最后编辑于

On this page