Eine Billion Token pro Tag. Ist das viel? „Und wenn wir uns nur die Anzahl der Token ansehen, die von den Foundry-APIs bereitgestellt werden, haben wir in diesem Quartal über 100 Billionen Token verarbeitet, was einem Anstieg von 5x im Vergleich zum Vorjahr entspricht, einschließlich eines Rekords von 50 Billionen Token allein im letzten Monat.“ Im April teilte Microsoft eine Statistik mit, die zeigt, dass ihr Foundry-Produkt etwa 1,7 Billionen Token pro Monat verarbeitet. Gestern teilte Vipul mit, dass täglich 2 Billionen Open-Source-Inferenz verarbeitet werden. Im Juli kündigte Google eine erstaunliche Zahl an: „Auf der I/O im Mai haben wir angekündigt, dass wir monatlich 480 Billionen Token über unsere Oberflächen verarbeitet haben. Seitdem haben wir diese Zahl verdoppelt und verarbeiten jetzt über 980 Billionen monatliche Token, ein bemerkenswerter Anstieg.“ Google verarbeitet täglich 32,7 Billionen, 16x mehr als Together und 574x mehr als das Volumen von Microsoft Foundry im April. Aus diesen Zahlen können wir einige Hypothesen ableiten: 1. Open-Source-Inferenz ist ein einstelliger Bruchteil der Inferenz. Es ist unklar, welcher Anteil von Googles Inferenz-Token aus ihren Open-Source-Modellen wie Gemma stammt. Aber wenn wir annehmen, dass Anthropic und OpenAI 5-10 Billionen Token pro Tag und alle Closed-Source sind, plus Azure, das ungefähr ähnlich groß ist, dann liegt die Open-Source-Inferenz wahrscheinlich bei etwa 1-3% der gesamten Inferenz. 2. Agenten sind früh. Der Datenpunkt von Microsoft deutet darauf hin, dass die Agenten innerhalb von GitHub, Visual Studio, Copilot Studio und Microsoft Fabric weniger als 1% der gesamten KI-Inferenz auf Azure beitragen. 3. Da Microsoft in diesem Jahr voraussichtlich 80 Milliarden Dollar im Vergleich zu Googles 85 Milliarden Dollar in die KI-Datenzentrum-Infrastruktur investieren wird, sollten die KI-Inferenz-Workloads jedes Unternehmens sowohl durch die Inbetriebnahme von Hardware als auch durch algorithmische Verbesserungen erheblich zunehmen. „Durch Softwareoptimierung allein liefern wir 90% mehr Token für dasselbe GPU im Vergleich zum Vorjahr.“ Microsoft presst mehr digitale Limonade aus ihren GPUs und Google muss ebenfalls Ähnliches tun. Wann werden wir die ersten 10 Billionen oder 50 Billionen KI-Token pro Tag sehen? Es kann nicht mehr lange dauern. - Schätzungen aus der Luft! - Google und Azure bei jeweils 33 Billionen Token pro Tag, Together und 5 andere Neoclouds bei jeweils etwa 2 Billionen Token pro Tag, und Anthropic und OpenAI bei 5 Billionen Token pro Tag, ergibt uns 88 Billionen Token pro Tag. Wenn wir annehmen, dass 5% von Googles Token aus Open-Source-Modellen stammen, sind das 1,65 Billionen Token pro Tag oder ungefähr 1,9% der gesamten Inferenz. Wieder sehr grobe Mathematik.