Biljoona tokenia päivässä. Onko se paljon? "Ja kun tarkastelemme kapeasti vain Foundry API:iden palvelemien tokenien määrää, käsittelimme tällä vuosineljänneksellä yli 100 tonnia tokenia, mikä on 5x enemmän kuin vuotta aiemmin, mukaan lukien ennätykselliset 50 tonnia tokeneita pelkästään viime kuussa." Huhtikuussa Microsoft jakoi tilaston, joka paljasti, että heidän Foundry-tuotteensa käsittelee noin 1,7 tonnia tokeneita kuukaudessa. Eilen Vipul jakoi käsittelevänsä 2 tonnia avoimen lähdekoodin päättelyä päivittäin. Heinäkuussa Google ilmoitti hämmästyttävästä määrästä: "Toukokuun I/O-tapahtumassa ilmoitimme, että käsittelimme 480 biljoonaa kuukausittaista tokenia pinnoillamme. Siitä lähtien olemme kaksinkertaistaneet tämän määrän ja käsittelemme nyt yli 980 biljoonaa kuukausittaista tokenia, mikä on merkittävä kasvu." Google käsittelee 32,7 tonnia päivässä, 16 kertaa enemmän kuin Together ja 574 kertaa enemmän kuin Microsoft Foundryn huhtikuun volyymi. Näistä luvuista voimme vetää muutamia hypoteeseja : 1. Avoimen lähdekoodin päättely on yksinumeroinen murto-osa päättelystä. On epäselvää, kuinka suuri osa Googlen päättelytokeneista on peräisin heidän avoimen lähdekoodin malleistaan, kuten Gemma. Mutta jos oletamme, että Anthropic & OpenAI ovat 5t-10t tokeneita päivässä ja kaikki suljetun lähdekoodin tokeneita, ja Azure on suunnilleen samankokoinen, niin avoimen lähdekoodin päättely on todennäköisesti noin 1-3 % kokonaispäättelystä. 2. Agentit ovat aikaisin. Microsoftin datapiste viittaa siihen, että GitHubin, Visual Studion, Copilot Studion ja Microsoft Fabricin agentit tuottavat alle 1 % tekoälyn kokonaispäättelystä Azuressa. 3. Microsoftin odotetaan investoivan 80 miljardia dollaria verrattuna Googlen 85 miljardiin dollariin tekoälyn datakeskusinfrastruktuuriin tänä vuonna, joten kunkin yrityksen tekoälyn päättelytyömäärän pitäisi kasvaa merkittävästi sekä verkkoon tulevien laitteistojen että algoritmisten parannusten kautta. "Pelkästään ohjelmistojen optimoinnin avulla toimitamme 90 % enemmän tokeneita samalle GPU:lle kuin vuosi sitten." Microsoft puristaa lisää digitaalista limonadia GPU:istaan ja Googlen täytyy myös tehdä samoin. Milloin näemme ensimmäiset 10t tai 50t AI-tokenit käsiteltynä päivässä? Se ei voi olla kaukana nyt. - Arvioita tyhjästä! - Google & Azure 33t tokenilla päivässä, Together & 5 muuta neocloudia noin 2t tokenilla päivässä kumpikin, & Anthropic & OpenAI 5t tokenilla päivässä antaa meille 88t tokenia päivässä. Jos oletamme, että 5 % Googlen tokeneista on peräisin avoimen lähdekoodin malleista, se on 1,65 tonnia tokenia päivässä eli noin 1,9 % kokonaispäättelystä. Jälleen kerran erittäin karkeaa matematiikkaa