每天一万亿个令牌。这算多吗？ “当我们狭义地看待由Foundry API提供的令牌数量时，我们在本季度处理了超过100万亿个令牌，同比增长5倍，仅上个月就创下了50万亿个令牌的记录。” 在四月，微软分享了一项统计数据，透露他们的Foundry产品每月处理约1.7万亿个令牌。 昨天，Vipul分享了每天处理2万亿个开源推理的消息。 在七月，谷歌宣布了一个惊人的数字： “在五月的I/O大会上，我们宣布在我们的平台上处理了每月480万亿个令牌。自那时以来，我们将这个数字翻了一番，现在每月处理超过980万亿个令牌，增长显著。” 谷歌每天处理32.7万亿个令牌，比Together多16倍，比微软Foundry四月的处理量多574倍。 从这些数字中，我们可以得出几个假设： 1. 开源推理是推理的个位数比例。目前尚不清楚谷歌的推理令牌中有多少来自他们的开源模型，如Gemma。但如果我们假设Anthropic和OpenAI每天处理5万亿到10万亿个令牌，并且都是闭源的，加上Azure的规模大致相似，那么开源推理可能占总推理的1-3%。 2. 代理仍处于早期阶段。微软的数据点表明，GitHub、Visual Studio、Copilot Studio和Microsoft Fabric中的代理对Azure整体AI推理的贡献不到1%。 3. 预计微软今年将在AI数据中心基础设施上投资800亿美元，而谷歌则为850亿美元，因此每家公司在硬件上线和算法改进方面的AI推理工作负载都应显著增加。 “仅通过软件优化，我们在同样的GPU上交付的令牌比一年前多了90%。” 微软正在从他们的GPU中榨取更多的数字柠檬水，谷歌也必须在做类似的事情。 我们何时能看到每天处理的首个10万亿或50万亿个AI令牌？现在应该不远了。 - 空中估算！ - 谷歌和Azure每天各处理33万亿个令牌，Together和其他5个新云每天各处理约2万亿个令牌，Anthropic和OpenAI每天处理5万亿个令牌，总共给我们88万亿个令牌。如果我们假设谷歌的令牌中有5%来自开源模型，那就是每天1.65万亿个令牌，约占总推理的1.9%。再次强调，这只是非常粗略的计算。

现在我们已经将几乎所有人类知识压缩到大型语言模型中，下一步的前沿是工具调用。将不同的AI工具串联在一起可以实现自动化。从思考到行动的转变代表了AI实用性的真正突破。 我为自己构建了100多个工具，它们大多数时间都能正常工作，但并非总是如此。我并不孤单。Anthropic的经济指数报告显示，77%的商业使用Claude集中在全任务自动化，而不是协同驾驶。 Anthropic上周发布了关于令牌效率和重新架构工具以优化其使用的文档。该指导意见是反直觉的：与其创建许多简单且标签清晰的工具，不如创建更少但更复杂的工具。 以下是我构建的七个电子邮件工具——Ruby脚本，每个都有明确的目的。“安全发送电子邮件”脚本旨在防止AI在未经批准的情况下发送电子邮件。 美丽而天真，简单而清晰，难道语言模型不应该能够阅读这些并确切知道我在要求它做什么吗？但事情并没有那么简单！ Anthropic建议创建复杂的工具。他们的研究表明，当使用复杂的、参数丰富的工具而不是简单工具时，“请求在输出令牌上平均节省14%，最高可达70%”。原因是什么？AI系统比片段化的意图更好地理解完整的上下文。 我花了一个周末将所有工具整合成统一的工具，比如这个电子邮件工具：（第三张图片） 对准确性的影响是立竿见影的。Claude的成功率接近100%。系统更快。因此，我使用的令牌大大减少，系统更高效。 这是我当前的思维模型：（第四张图片） 当我为AI认知而不是人类直觉重新设计时，一切都得到了改善。我的CRM操作、日历管理和数据库工作流在整合成全面的、参数丰富的工具时变得更加可靠。准确性提高了，因此总成本显著降低。 但别让我使用这些工具。我现在在复杂性中有点迷失。这是以更高抽象层次工作不可避免的结果，不再深入理解机器。 我们花了几十年让软件对人们变得简单。现在我们正在学习如何让它对AI变得复杂。