长任务的Agent跑起来容易,事后读起来难。下面是我读轨迹的顺序。
01#第一遍:看结尾
先读最后二十步。Agent停下来,是因为做完了、放弃了,还是它以为自己做完了?第三种最常见,也最有用。
02#第二遍:看任务清单
如果Harness维护了清单,就按时间对比它的变化。先打勾、后来又取消的项,就是Agent发现自己错了的地方。
03#第三遍:找第一个错误的转折
在轨迹里二分查找,找到第一个你会否定其输出的步骤。之后的问题通常都是它的连锁反应。
04#第四遍:它没看过什么
列出Agent本可以读、却没有读的文件和文档。缺上下文导致的失败,比推理错误导致的更多。
占位文章,用于预览博客版式。