把Token预算按任务而非按人核算:企业AI成本治理的几个实操抓手

近乎免费的Token时代结束了
过去两年,企业里谈AI成本,语气大多是轻的:一次接口调用几分钱,一个试点项目一天花几美元,账单小到不需要单独列预算科目。
这种轻,正在消失。据Progress Software首席AI官Ed Keisling在2026年11月接受媒体采访时的判断,近乎免费的Token时代早在九到十二个月前就已结束,AI开支必须从某个地方腾出来——可能是员工薪酬、奖金,也可能是差旅。这段话之所以在行业内被反复转述,是因为它把一个技术议题翻译成了经营议题。
另一条来自国内视角的观察提供了补充。据腾讯网2026年11月对明略科技创始人吴明辉在2026中金论坛演讲的报道,AI投入的讨论正在从「模型能力有多强」转向「一项任务消耗多少Token、这笔开支带来多少产出」。他给了一笔粗账:一家拥有数万名员工的企业,如果每名员工每年消耗价值十万元的Token,一年的推理支出就会达到数十亿元。
两个视角指向同一个结论:Token已经不是一个技术参数,而是一个需要被预算、被核算、被治理的经营变量。
成本结构的真相:步数决定账单
要治理,先要看清成本长什么样。
一个Agent完成一项任务的运行成本,并不只是模型调用的那几行字。它由几部分叠加:每一步的模型调用(输入与输出分别计价)、重试与失败重跑、工具与检索费用、托管与基础设施、监控与评测,以及人工复核占用的时间。
其中,重试与失败重跑是最容易被漏算的一项。一次超时、一个格式不合规的返回、一次校验没通过,都意味着这一轮调用白花,并且要再花一次。
更关键的是成本的增长曲线:Agent的成本随步数增长,而不是随用户数增长。一个任务八次调用、每次六千输入Token,加起来就是四万八千Token;而同样的问题交给聊天机器人,一次调用可能只有几千Token。两者放在同一张账单上比较,得出的结论一定是错的。
这也是为什么「按人头发额度」这种直觉做法经常失灵——它假设了每个人消耗量相近,而实际消耗取决于这个人把Agent接进了多少条流程、每条流程要走多少步。
五个抓手:把钱花在该花的地方
在方法层面,行业内被总结出的降本路径大致有五条,都不复杂,但需要工程侧真的做。
其一,按步骤路由模型,而不是按Agent统一选型。 让强模型负责规划、拆解与最终检查,让较小的模型承担常规步骤。同一个任务里,不同步骤对模型能力的要求差别很大,统一用一个贵模型,是把预算花在了不需要的地方。
其二,把稳定内容放在提示的前面,让它命中缓存。 系统指令、工具定义这类每次调用都完全相同的部分,位置稳定、内容不变,就能以远低于原价的价格计费。这一条在大流量场景下的效果最直接。
其三,给循环设上限。 每个任务的调用次数上限、重试次数上限都应该明确规定,触顶时干净地交回人工,而不是让Agent在原地反复尝试。失控的循环是账单失控的主要来源之一。
其四,按需检索,而不是把整个文档塞进上下文。 只取这一步真正需要的段落,把工具返回的结果先做摘要再往里传。把所有资料一次性灌进越来越长的上下文窗口,通常是开支偏大的一条路。
其五,从启动初期就记录每任务成本。 把Token、调用次数、人工复核分钟数按任务记下来,预算就是靠数字管的,而不是靠估算。这一条听起来最不像技术,却决定了前四条有没有被真正执行。
成本要能被看见,才有约束力
技术抓手之外,更根本的是治理结构。
一个可参考的做法是分层可见:让员工看到自己的消耗,让管理者看到团队的消耗,并设置阈值——越过阈值时,触发的不应该只是审批,而是一次「这笔工作是否值得花这笔钱」的对话。预算约束的意义不在于卡住谁,而在于让成本与产出在同一张桌面上接受审视。
与之配套的是发布门槛:没有把成本监控接进去的Agent,不应该进入生产环境,甚至不该进入测试环境。这一条在不少企业里仍然是空白,而它恰恰是最省钱的一条。
FinOps Foundation有一个观察值得记住:供应商的账单通常按API密钥或项目维度呈现消耗,而不是按业务单元或成本中心。这意味着企业如果自己不做归集,账单一到手就会是一团看不出归属的数字。
企业还要回答一个主权问题
Agent进入业务流程之后,会接触企业文件、代码仓库与业务数据。企业需要明确两件事:Agent能访问哪些资料,以及每一次调用模型时,哪些业务上下文会被发送到云端。
吴明辉把企业掌握自身数据、Agent权限和模型使用方式的能力,称为「企业主权AI」。落到操作层面,就是逐项判断哪些数据可以随任务交给外部模型,哪些环节需要留在自己的环境里处理。模型选择也可以细化到任务——不是选一个模型给全公司用,而是为每一类任务指定模型与数据的边界。
一份可以直接用的核算表
如果要把上面几条落成一张表,字段大致是这样的:
任务名称、单次任务平均调用步数、每步平均输入与输出Token、重试率、是否使用缓存、承担该任务的模型档位、人工复核比例与时长、单任务综合成本、该任务对应的业务产出。
九个字段填满之后,绝大多数关于「AI到底贵不贵」的争论会自然结束,因为争论的双方终于在看同一张纸。
Token正在从技术账单变成经营账本,这个过程对企业的要求不是少用AI,而是把AI用得可核算。行业里已经有人把这件事讲得很清楚:便宜的模型并不等于便宜的方案,决定成本的往往是流程设计。以上为行业方法论层面的观察整理,不涉资金与投入决策层面的具体建议。








