核心内容总结
这篇文章围绕大模型Agent的“skill”(可理解为给AI定的规则、流程或系统提示词)展开,核心发现是:给AI加skill虽然理论上能提升任务表现,但实际会产生“回归税”——新增解决的问题会被原有能力的下降抵消。文章通过实验数据和技术原理,解释了回归税的成因,并给出了工程上的解决思路。
一、为什么skill越写越长,效果却越不稳定?
很多人给AI写skill的流程是:初版→试跑发现问题→加约束→再迭代→禁止词越来越多,skill从400行膨胀到2000行,但效果还是忽好忽坏。
这背后是大模型的“注意力机制”问题:斯坦福论文《Lost in the Middle》指出,AI对输入内容的注意力像U型曲线——开头和结尾记得牢,中间容易忘。比如开头说“要准确”,末尾说“不要遗漏”,中间的1000字规则AI可能根本没注意到。结果就是:规则越多→文档越长→中间内容被忽略→违反规则更多→再追加规则,陷入恶性循环。
二、什么是“回归税”?——新增能力的代价是旧能力受损
传统评测只看“加skill后总分提升多少”,但忽略了一个关键:提升的分数可能来自“新做对5题+旧题全对”,也可能是“新做对20题+旧题错15题”。后者的可靠性远低于前者,这种“旧能力受损”的代价就是“回归税”。
论文实验用486个办公任务(比如读财政文件、改Excel)测试了3套模型+3套skill库,结果:
- 加skill后新增553次成功(Gain),但同时有324次旧任务失败(Regression);
- 新增失败抵消了59%的毛收益,最终净增只有229次;
- 所有18个skill条件都出现了回归,没有一套能做到“只加能力不伤旧”。
三、回归税的两大“元凶”:渗透效应和读错题
1. 渗透效应:skill描述没用到也会影响判断
一个skill通常分两层:description(描述:这个skill解决什么问题)和body(正文:具体步骤)。很多AI框架会把description常驻上下文(方便AI判断是否触发skill),但问题来了:即使没用到body,description里的概念也会“渗”进AI的判断。
比如skill描述是“处理销售数据”,用户问“统计这个月的业绩”,AI可能默认用销售数据的skill,而忽略用户其实要的是总业绩(包括其他部门)——这就是“渗透效应”,相当于AI被skill的描述带偏了。
2. 读错题:按流程走却没理解用户需求
论文里叫“grounding displacement”,人话就是AI没读懂题。比如用户让“算1934和1946年公共工程支出的差额”,AI可能找错表格、年份或统计口径,虽然流程走得很标准,但结果完全错了。
还有一种情况是“验证被挤占”:AI按skill流程走完就觉得任务完成了,不再检查结果。比如Excel公式明明是对的,但AI没验证就提交,或者评分器本身不会算某些函数,把正确答案判错。
四、怎么减少回归税?——工程上的3个实用方法
文章借鉴软件工程的经验,给出了几个解法:
1. 分层架构+正向指令:把skill分成层次(比如核心规则放开头/结尾,次要规则放中间),用“只做Y”替代“不要做X”(模型对正向指令的遵循率更高);
2. 结构化格式:用markdown表格、 bullet points等清晰格式,降低AI的理解成本(比如把规则列成表格,比大段文字好记);
3. 回归测试+灰度发布:加新skill前,先测原来的任务有没有坏;上线时慢慢推(灰度),不行就撤销——像软件更新一样,避免一次性全量上线出问题。
最后一句话总结
给AI加skill不是越多越好,而是要“精准加规则+控制回归税”,就像管理软件项目一样,既要提升能力,也要守住原有优势。