Enterprise AI cost management dashboard showing spend trends, cost drivers, usage heatmap, and alerts

Token使用量激增,企业如何控制AI成本?

Table of Contents ( Press the ← key in browser search bar to return TOC)

AI智能体的使用日益增多料将增加企业的AI token支出,一些公司正利用云时代的技术来控制成本。

企业都知道要在支出开始过热时猛踩刹车。但人工智能(AI)正考验这种本能。AI成本正在攀升,不过大多数科技领袖仍然坚信它最终能带来真正的回报——只是不能不计代价。

首席信息官们向《华尔街日报》(The Wall Street Journal)领导力学院(Leadership Institute)表示,他们正在部署一系列策略来控制AI成本,其中包括在云计算兴起以及应对云成本激增的过程中积累的成熟经验。

“使用AI,就等于把信用卡交到了最终用户手中。如果你对此缺乏控制,或者最终用户缺乏相关认知,他们就会让账单飙升,”在线旅游公司Priceline的IT财务高级总监克里斯·里德(Chris Reed)说。

与以往的科技周期不同,企业采用AI依赖于所有员工——而不仅仅是开发人员——掌握这项技术。AI越来越多地按使用量计费,而AI计算的基本单位token(词元)的价格一直波动不定。这一切都意味着AI成本的上升。

里德表示,在Priceline,仪表板会跟踪token的使用情况,并向首席财务官和首席技术官提交月度报告。里德说,如果token使用量过高,公司就会”找员工谈话”,了解他们是如何使用AI的;不过,如果他们正在推进能创收的项目,使用上限也可以灵活调整。

从基于提示词的聊天机器人向始终在线的自主AI智能体的转变正加剧成本压力,后者消耗的token要多得多。随着AI模型变得更大、更复杂,这些成本预计将急剧攀升。

“这将比我们今天的支出高出几个数量级,”百时美施贵宝(Bristol-Myers Squibb)首席数字和技术官格雷格·迈耶斯(Greg Meyers)说。他补充道,随着AI使用量达到拐点,他预计与AI智能体相关的成本将呈”指数级”增长。

迈耶斯表示,他已经让这家生物制药公司的管理团队(包括首席财务官和董事会)做好心理准备,迎接”相当高的token消耗量”。

但这并不全是坏消息:”如果把我们预期的回报考虑在内,我们认为这实际上是一笔相当可观的投资回报,”他说。

启用云时代的工具箱

一些企业科技领袖正重新启用在云计算兴起期间积累的成本控制策略。

金融服务公司Principal Financial Group的首席信息官凯西·凯(Kathy Kay)表示,该公司正在”落实治理和优化措施,类似于企业在云服务方面的做法,以便在扩大规模时管理成本”。例如,她指出,Principal专注于为特定任务匹配合适的AI模型,这样”使用量的增加就不一定会导致成本上升”。

“鉴于定价和功能演变如此之快,我们在设计时注重灵活性,以便能够随着时间的推移进行调整,并继续高效地部署AI,”凯补充道。

融合了财务、工程和产品理念的FinOps诞生于2010年代的云计算普及热潮中,是一种旨在管理并最大化技术与云支出商业价值的方法。

Smartsheet首席信息官兼首席信息安全官拉维·索因(Ravi Soin)表示,该公司的FinOps团队负责跟踪整体AI支出。”确实需要有人来把控预算,”他说。这家软件公司设置了自动警报,以便员工在即将触及token使用上限时收到通知。

“我们为全公司提供了用户仪表板,按部门和经理进行分类,这样你就能实时了解使用频率和具体成本,月底看到账单时就不会感到意外了,”他说。

其他公司则在寻求聘请具备FinOps经验的外部专家。根据一份招聘启事,CVS Health正在招聘一名精通FinOps的AI运营工程执行总监,其职责包括该公司所称的”GPU成本治理”和”成本削减”。

智能体无处不在

企业对AI的使用量已达到前所未有的水平,许多企业正在应对数量多到难以追踪的AI智能体。

高盛(Goldman Sachs)高级股票研究分析师吉姆·施奈德(Jim Schneider)表示,与向聊天机器人提问相比,让智能体完成一项任务所需的算力可能是前者的50倍。高盛预测,未来四年,AI智能体将使AI token消耗量增至原来的24倍,而到2040年,商业AI智能体将使token消耗量增至原来的55倍。

模型提供商OpenAI和Anthropic表示,其token的成本正在下降,两家公司也都考虑过大幅降价。

然而,即使token变得更便宜,智能体在与其他智能体交互以及长时间运行的过程中,也会消耗更多的token。贝恩(Bain)的研究显示,虽然从2024年12月到2025年12月模型价格下降了约50%,但在同一时期内,token消耗量却增至原来的4.5倍。

降低AI账单

科技领袖们表示,挑战不仅在于控制AI的成本,还在于衡量其创造的价值。

高通(Qualcomm)首席信息官阿提拉·蒂尼奇(Atilla Tinic)表示,这家半导体公司采取了几种不同的方法来控制AI成本,包括对特定团队的token使用量设置上限。”一些工程职能部门显然是token的消耗大户,”他说。

蒂尼奇说,高通还向公司各部门引入了”成本展示”机制,以此向他们展示”与token挂钩的金额,让大家明白自己的支出花在了哪里”。

OpenText首席信息官兼首席数字官香农·贝尔(Shannon Bell)表示,成本展示或”内部计费”机制可以将一家机构的token支出降低20%至30%。”我们希望开发主管们能负起责任,对支出以及由此带来的成果负责,”她说。

但要全面掌握AI使用情况的各种细微差别并非易事。

“AI使用量高本身无所谓好坏。这取决于它所带来的业务成果,而这正是最难量化的部分,”Priceline的里德说。

这种不确定性正促使企业采取另一种策略:降低单项任务的成本。一些企业不再将所有任务都交给昂贵的大型模型来处理,而是转而使用规模较小、较旧或开源的模型。蒂尼奇表示,在高通自家的硬件上运行这些模型,为公司节省了更多成本。

Lowe’s首席数字和信息官西曼蒂尼·戈德博尔(Seemantini Godbole)表示,该公司正在落实相关准则和机制以避免”token浪费”,包括使用较小的模型和开源模型。

“只要是为了实现业务目标,使用token就是一件大好事,”戈德博尔说。”但我们也要确保,没有把资金浪费在不必要的地方。”

Enjoyed this article? Sign up for our newsletter to receive regular insights and stay connected.

Leave a Reply