AI Token限制背后的复杂现实

在希望管理AI成本的公司中，对员工设置token限制已变得很普遍，但真正实施起来可能颇为棘手。

美国企业的科技高管们表示，在制定员工人工智能(AI)使用规范方面，他们正处于探索未知领域的阶段。

在经历了一段毫无节制地鼓励员工尽可能多地消耗AI token（词元）的时期后，许多公司开始控制AI支出，并转向所谓的token限制，以确保员工不会产生高昂的AI费用。

但事实证明，确定每位员工的最佳AI使用量并非易事。

科技高管们表示，要弄清楚特定职位究竟该设定多少限制，有时全凭猜测，而要把握何时放宽或执行这一限制就更难了。这使得他们不得不应对企业AI热潮中的两大挑战：既要推动高采用率，又要控制成本。

“显然需要一种平衡，”金融服务公司TIAA的首席运营官萨斯特里·杜尔瓦苏拉(Sastry Durvasula)说。”我们希望推动采用，所以在开始时，每个人都可以放手去用。而现在，各公司逐渐意识到，’嘿，我们应该更负责任一些。'”

Token是指AI模型处理的可量化信息块，每个token的成本因模型和提供商而异。近几个月来，企业科技高管们投入了大量精力研究各种策略以试图降低token成本，但对每位员工设定个人限制已成为最常见的做法之一。

杜尔瓦苏拉表示，他审视了公司从软件工程到营销和财务的各个职能部门，研究了它们正在执行的AI任务类型，并为每个部门理想的token限制提出了一个初步假设。

但该公司也有一套流程，允许员工申请提高各自的token限制，这将触发杜尔瓦苏拉团队的一项调查，以决定员工达到限制是因为他们在做对业务真正有价值的事情，还是在白白浪费。

有些申请获得了批准，但许多则没有。”我见过这种情况：比如在研究团队中，一些分析师只是在白白消耗他们的token，”他说。

他说，在这些情况下的目标是向员工传授提示词工程知识，甚至引导他们使用公司预先构建的现有提示词库，这些提示词经过优化，不会过度消耗token。

其他公司则对token限制可能打击员工对AI的热情保持警惕。

二手车零售商Carvana的工程与产品分析高级副总裁亚历克斯·德夫卡尔(Alex Devkar)表示，该公司没有实施token限制，而是向员工传达所谓的对每位员工月度AI使用水平的”期望值”。这些期望值确实代表了具体的美元金额，员工每周都会收到一份更新，了解自己的使用量接近这些期望值的进度。

“硬性限制会束缚公司的发展，”他说，”如果我们的期望值设定得不够完美，我们就会扼杀那些可能带来高投资回报率并强有力地改变我们业务的项目。”

当员工开始接近期望值时，就会触发评估和对话，以确定如此高额的AI支出是否在创造真正的价值。”这确实需要我们做大量的工作，”德夫卡尔说。

“从表面上看，很难判断高额支出是否合理，”他补充道，”我们的做法是深入细节以更好地了解情况。这可能是一个我们未曾预料到的失控过程，那是对资金的不当使用。但也可能是我们挖到了一条真正的富矿脉，我们应该在这方面加大投入。”

还有一种折中的做法。信安金融集团(Principal Financial Group)首席信息官兼执行副总裁凯西·凯(Kathy Kay)表示，该公司确实有硬性的token限制，但申请提高额度的流程快速且简便。她说，公司所有员工的限制标准都是一样的，尽管通常只有工程师才会接近达到这一限制。

凯说，最初公司设定的token限制太低，导致一些员工在AI使用上缩手缩脚，并试图精打细算地使用他们的token。她称，自那以后她已经提高了这一限制。

“我不希望看到的是，人们因为觉得自己会惹上麻烦而停止使用AI，”她说。