AI 会犯错,凭什么敢把活交给它?靠这两道闸
用 Agent 做交付 · 机制系列 02
上一篇讲了角色分工:常驻管家 + 按需专家。有读者会问一个更根本的问题:Agent 会犯错、会幻觉、会自由发挥,你把真实业务交给它,凭什么敢?
答案不是”我选的模型更聪明”,而是:我不依赖它不出错,我依赖出错时有机制接得住。 这套机制是两道闸:第一道闸 GitHub 协作流,管”它做了什么”——所有工程动作留痕、可审、可回滚;第二道闸令牌机制,管”它能做什么”——预算和权限的硬约束。

两道闸都不新鲜,都是人类软件工程玩了几十年的东西。有意思的是把它们平移到 Agent 团队之后,作用反而被放大了——因为 Agent 比人类员工更”听话”地执行机制,也更需要机制。
第一道闸:GitHub 协作流
我的规则是:任何工程动作,先有 issue,再有代码。
具体是一条硬性流程:方案先行——动手前把方案写进 issue,要解决什么、怎么解、验收标准是什么,没有 issue 的代码任务一律打回;diff 可审——Agent 的产出以 diff 形式提交,用审查代码的标准验收,改动范围是否越界、有没有夹带私货、测试是否覆盖;回滚有据——每次改动有 commit,出问题可以精确回退。
为什么这道闸对 Agent 尤其重要?因为 Agent 有一种人类没有的失败模式:它会自信地、流畅地、大规模地犯错。 一个人类工程师改错了三个文件会心虚,Agent 改错三十个文件时语气依然笃定。没有 diff 审查,这种错误要到运行时才暴露;有了 diff 审查,错误在合入前就被拦下。
还有一个隐性收益:**issue 是 Agent 团队的共享记忆。**跨角色协作时,“你去看 issue #47”比”你去看我上次跟你说的那段话”可靠一个数量级。前者有版本、有评论、有关闭状态,后者会随会话消失。
第二道闸:令牌机制
令牌在这里是双关,两层含义都要管住:API 令牌 = 权限边界——哪个 Agent 拿哪些服务的凭证,是白名单制。负责内容发布的 Agent 不该有数据库写权限;凭证通过密钥管理工具注入,Agent 永远不接触明文。模型令牌 = 预算约束——Agent 的每次调用消耗 token,就是真金白银。我会给每类任务设预算上限,超限即熔断。没有这道闸,一个陷入死循环的 Agent 可以在一晚上烧掉你一个月的预算——这不是假设,是行业里反复发生的事故。
被我推翻过的方案
早期我用过”信任升级”思路:干得好的 Agent 给更大权限,减少审批提高效率。很快发现问题——Agent 的表现不是稳定分布,同一类任务它今天做对不代表明天不出错,“过往信用”对 Agent 的预测价值远低于对人类。结论:对 Agent 不搞信任升级,只搞权限分级 + 机制兜底。
一次真实翻车,机制怎么接住的
讲一个真实事故(细节脱敏)。
某天两个 Agent 各自按自己的例行任务干活:一个负责数据扫描,一个负责内容发布。扫描 Agent 判断当天有值得发的内容,就按它手上的旧模板自动发布了。问题是:那份模板早已被新版本替代,而且发布权限当时没有收口——两个 Agent 都能碰发布通道。
结果发出去的内容格式是退役的旧版,很快被人工发现下架重发。
复盘时机制起了作用:issue 立即建档——事故经过、根因、整改项全部进了 issue,不是散落在聊天记录里;diff 审查拦住了半个事故——整改方案里有一处越界改动(顺手改了不该动的配置),在 diff 审查时被拦下要求拆分;权限收口落地——借这次事故,发布权限收口为单一角色唯一通道,其他所有 Agent 的发布权限回收。

事故之后沉淀的规矩比事故本身值钱:例行任务只能用登记在册的模板;任何平台通道的权限必须单一归属;权限变更必须全员通告。 这三条现在都是硬闸。

背后是同一个原理:用确定性机制对冲概率性失败
Agent 的可靠性是概率性的——再好的模型也有出错概率,且这个概率随任务复杂度、上下文长度、疲劳程度(长期会话)波动。人类团队靠文化、责任感、代码审查习惯对冲这种概率;Agent 团队没有文化,只能靠机制。
机制的三个设计要点,可供直接抄:
- 留痕优于记忆:一切状态进 issue/commit,Agent 的会话记忆只能当缓存,不能当数据库。
- 权限默认最小:Agent 的权限清单从”它需要的”出发,不从”它可能用得上的”出发。宁可它来申请扩权,不可先给了再收。
- 失败要付代价才能沉淀:每次事故必须产出至少一条可执行的硬规矩(进流程、进代码、进配置),否则复盘等于白做。Agent 不会从批评中成长,但会从写进 SOP 的规则中稳定复现正确行为。

下一篇讲这套系统的成本侧:多 Agent 协作了三个月,真实的摩擦账本——哪些摩擦至今没解决,以及为什么算完账我依然认为值得。
(本文事故案例来自本人多 Agent 系统的真实运行记录,细节已脱敏。观点仅供参考。)