En billion tokens per dag. Er det mye? "Og når vi ser snevert på bare antall tokens som betjenes av Foundry APIer, behandlet vi over 100 tonn tokens dette kvartalet, opp 5 ganger fra år til år, inkludert rekordhøye 50 tonn tokens bare forrige måned." I april delte Microsoft en statistikk som avslørte at Foundry-produktet deres behandler rundt 1,7 tonn tokens per måned. I går delte Vipul behandler 2t åpen kildekode-slutning daglig. I juli kunngjorde Google et svimlende antall: "På I/O i mai kunngjorde vi at vi behandlet 480 billioner månedlige tokens på tvers av overflatene våre. Siden den gang har vi doblet dette antallet, og behandler nå over 980 billioner månedlige tokens, en bemerkelsesverdig økning." Google behandler 32,7 tonn daglig, 16 ganger mer enn Together og 574 ganger mer enn Microsoft Foundrys aprilvolum. Fra disse figurene kan vi trekke noen hypoteser: 1. Åpen kildekode-slutning er en ensifret brøkdel av slutningen. Det er uklart hvor stor del av Googles slutningstokens som er fra deres åpen kildekode-modeller som Gemma. Men hvis vi antar at Anthropic og OpenAI er 5t-10t-tokener per dag og alle lukket kildekode, pluss at Azure er omtrent lik i størrelse, er åpen kildekode-slutning sannsynligvis rundt 1-3 % av den totale slutningen. 2. Agenter er tidlig. Microsofts datapunkt antyder at agentene i GitHub, Visual Studio, Copilot Studio og Microsoft Fabric bidrar med mindre enn 1 % av den totale AI-slutningen, på Azure. 3. Med Microsoft forventet å investere 80 milliarder dollar sammenlignet med Googles 85 milliarder dollar i AI-datasenterinfrastruktur i år, bør AI-inferensarbeidsbelastningen til hvert selskap øke betydelig både gjennom maskinvare som kommer online og algoritmiske forbedringer. "Gjennom programvareoptimalisering alene leverer vi 90 % flere tokens for samme GPU sammenlignet med for et år siden." Microsoft presser mer digital limonade fra GPUene sine, og Google må også gjøre det samme. Når vil vi se de første 10t eller 50t AI-tokenene behandlet per dag? Det kan ikke være langt unna nå. - Estimater fra løse luften! - Google og Azure med 33 tonn tokens per dag hver, Together og 5 andre neoclouds med omtrent 2 tonn tokens per dag hver, og Anthropic & OpenAI med 5 tonn tokens per dag, gir oss 88 tonn tokens per dag. Hvis vi antar at 5 % av Googles tokens er fra åpen kildekode-modeller, er det 1,65 tonn tokens per dag, eller omtrent 1,9 % av den totale slutningen. Igjen, veldig grov matematikk

Nå som vi har komprimert nesten all menneskelig kunnskap til store språkmodeller, er neste grense verktøykall. Å lenke sammen ulike AI-verktøy muliggjør automatisering. Skiftet fra tenkning til å gjøre representerer det virkelige gjennombruddet innen AI-verktøy. Jeg har bygget mer enn 100 verktøy for meg selv, og de fungerer mesteparten av tiden, men ikke hele tiden. Jeg er ikke alene. Anthropics Economic Index-rapport avslører at 77 % av forretningsbruken av Claude sentrerer seg om automatisering av fulloppgaver, ikke co-piloting. Anthropic publiserte dokumentasjon forrige uke om tokeneffektivitet og re-arkitekturverktøy for å optimalisere bruken av dem. Veiledningen var kontraintuitiv: i stedet for mange enkle verktøy med tydelige etiketter, lag færre, mer komplekse verktøy. Her er de syv e-postverktøyene jeg bygde - Ruby-skript, hver med et klart formål. Skriptet "Safe Send Email" ble designet for å forhindre at AI sender e-post uten godkjenning. Vakkert naivt, enkelt og tydelig, Burde ikke en språkmodell kunne lese disse og vite nøyaktig hva jeg ba den om å gjøre? Men det er ikke så enkelt! Anthropic anbefaler å lage komplekse verktøy. Forskningen deres viser at "forespørsler sparer i gjennomsnitt 14 % i utdatatokens, opptil 70 %" når du bruker sofistikerte, parameterrike verktøy i stedet for enkle. Grunnen? AI-systemer forstår full kontekst bedre enn fragmentert hensikt. Jeg brukte helgen på å konsolidere alle verktøyene mine til enhetlige verktøy, som dette for e-post: (tredje bilde) Innvirkningen på nøyaktigheten var umiddelbar. Claudes suksessrate nærmer seg 100 %. Systemet er raskere. Som et resultat bruker jeg langt færre tokens med et mer effektivt system. Her er min nåværende mentale modell: (fjerde bilde) Da jeg redesignet for AI-kognisjon i stedet for menneskelig intuisjon, ble alt bedre. CRM-operasjoner, kalenderadministrasjon og databasearbeidsflyter ble alle mer pålitelige når de ble konsolidert i omfattende, parametertunge verktøy. Nøyaktigheten ble forbedret, slik at den totale kostnaden ble betydelig redusert. Men ikke be meg om å bruke verktøyene. Jeg er nå litt fortapt midt i kompleksiteten. Dette er en uunngåelig konsekvens av å jobbe på høyere abstraksjonsnivåer, uten lenger å forstå maskinen dypt. Vi brukte flere tiår på å gjøre programvare enkel for folk. Nå lærer vi å gjøre det komplekst for AI.