每天一萬億個令牌。這算多嗎？ “當我們狹義地看待由Foundry API提供的令牌數量時，我們在本季度處理了超過100萬億個令牌，同比增長5倍，僅上個月就創下了50萬億個令牌的記錄。” 在四月，微軟分享了一項統計數據，透露他們的Foundry產品每月處理約1.7萬億個令牌。 昨天，Vipul分享了每天處理2萬億個開源推理的消息。 在七月，谷歌宣佈了一個驚人的數字： “在五月的I/O大會上，我們宣佈在我們的平臺上處理了每月480萬億個令牌。自那時以來，我們將這個數字翻了一番，現在每月處理超過980萬億個令牌，增長顯著。” 谷歌每天處理32.7萬億個令牌，比Together多16倍，比微軟Foundry四月的處理量多574倍。 從這些數字中，我們可以得出幾個假設： 1. 開源推理是推理的個位數比例。目前尚不清楚谷歌的推理令牌中有多少來自他們的開源模型，如Gemma。但如果我們假設Anthropic和OpenAI每天處理5萬億到10萬億個令牌，並且都是閉源的，加上Azure的規模大致相似，那麼開源推理可能佔總推理的1-3%。 2. 代理仍處於早期階段。微軟的數據點表明，GitHub、Visual Studio、Copilot Studio和Microsoft Fabric中的代理對Azure整體AI推理的貢獻不到1%。 3. 預計微軟今年將在AI數據中心基礎設施上投資800億美元，而谷歌則為850億美元，因此每家公司在硬件上線和算法改進方面的AI推理工作負載都應顯著增加。 “僅通過軟件優化，我們在同樣的GPU上交付的令牌比一年前多了90%。” 微軟正在從他們的GPU中榨取更多的數字檸檬水，谷歌也必須在做類似的事情。 我們何時能看到每天處理的首個10萬億或50萬億個AI令牌？現在應該不遠了。 - 空中估算！ - 谷歌和Azure每天各處理33萬億個令牌，Together和其他5個新雲每天各處理約2萬億個令牌，Anthropic和OpenAI每天處理5萬億個令牌，總共給我們88萬億個令牌。如果我們假設谷歌的令牌中有5%來自開源模型，那就是每天1.65萬億個令牌，約佔總推理的1.9%。再次強調，這只是非常粗略的計算。