Biljoona tokenia päivässä. Onko se paljon? "Ja kun tarkastelemme kapeasti vain Foundry API:iden palvelemien tokenien määrää, käsittelimme tällä vuosineljänneksellä yli 100 tonnia tokenia, mikä on 5x enemmän kuin vuotta aiemmin, mukaan lukien ennätykselliset 50 tonnia tokeneita pelkästään viime kuussa." Huhtikuussa Microsoft jakoi tilaston, joka paljasti, että heidän Foundry-tuotteensa käsittelee noin 1,7 tonnia tokeneita kuukaudessa. Eilen Vipul jakoi käsittelevänsä 2 tonnia avoimen lähdekoodin päättelyä päivittäin. Heinäkuussa Google ilmoitti hämmästyttävästä määrästä: "Toukokuun I/O-tapahtumassa ilmoitimme, että käsittelimme 480 biljoonaa kuukausittaista tokenia pinnoillamme. Siitä lähtien olemme kaksinkertaistaneet tämän määrän ja käsittelemme nyt yli 980 biljoonaa kuukausittaista tokenia, mikä on merkittävä kasvu." Google käsittelee 32,7 tonnia päivässä, 16 kertaa enemmän kuin Together ja 574 kertaa enemmän kuin Microsoft Foundryn huhtikuun volyymi. Näistä luvuista voimme vetää muutamia hypoteeseja : 1. Avoimen lähdekoodin päättely on yksinumeroinen murto-osa päättelystä. On epäselvää, kuinka suuri osa Googlen päättelytokeneista on peräisin heidän avoimen lähdekoodin malleistaan, kuten Gemma. Mutta jos oletamme, että Anthropic & OpenAI ovat 5t-10t tokeneita päivässä ja kaikki suljetun lähdekoodin tokeneita, ja Azure on suunnilleen samankokoinen, niin avoimen lähdekoodin päättely on todennäköisesti noin 1-3 % kokonaispäättelystä. 2. Agentit ovat aikaisin. Microsoftin datapiste viittaa siihen, että GitHubin, Visual Studion, Copilot Studion ja Microsoft Fabricin agentit tuottavat alle 1 % tekoälyn kokonaispäättelystä Azuressa. 3. Microsoftin odotetaan investoivan 80 miljardia dollaria verrattuna Googlen 85 miljardiin dollariin tekoälyn datakeskusinfrastruktuuriin tänä vuonna, joten kunkin yrityksen tekoälyn päättelytyömäärän pitäisi kasvaa merkittävästi sekä verkkoon tulevien laitteistojen että algoritmisten parannusten kautta. "Pelkästään ohjelmistojen optimoinnin avulla toimitamme 90 % enemmän tokeneita samalle GPU:lle kuin vuosi sitten." Microsoft puristaa lisää digitaalista limonadia GPU:istaan ja Googlen täytyy myös tehdä samoin. Milloin näemme ensimmäiset 10t tai 50t AI-tokenit käsiteltynä päivässä? Se ei voi olla kaukana nyt. - Arvioita tyhjästä! - Google & Azure 33t tokenilla päivässä, Together & 5 muuta neocloudia noin 2t tokenilla päivässä kumpikin, & Anthropic & OpenAI 5t tokenilla päivässä antaa meille 88t tokenia päivässä. Jos oletamme, että 5 % Googlen tokeneista on peräisin avoimen lähdekoodin malleista, se on 1,65 tonnia tokenia päivässä eli noin 1,9 % kokonaispäättelystä. Jälleen kerran erittäin karkeaa matematiikkaa

Nyt kun olemme tiivistäneet lähes kaiken inhimillisen tiedon suuriksi kielimalleiksi, seuraava raja on työkalujen kutsuminen. Eri tekoälytyökalujen ketjuttaminen yhteen mahdollistaa automaation. Siirtyminen ajattelusta tekemiseen edustaa todellista läpimurtoa tekoälyn hyödyllisyydessä. Olen rakentanut itselleni yli 100 työkalua, ja ne toimivat suurimman osan ajasta, mutta eivät koko ajan. En ole yksin. Anthropicin Economic Index -raportti paljastaa, että 77 % Clauden liiketoiminnasta keskittyy täyden tehtävän automatisointiin, ei yhteisohjaajaksi. Anthropic julkaisi viime viikolla dokumentaation tokenien tehokkuudesta ja työkalujen uudelleensuunnittelusta niiden käytön optimoimiseksi. Ohjeistus oli ristiriitainen: monien yksinkertaisten työkalujen sijaan, joissa on selkeät merkinnät, luo vähemmän, monimutkaisempia työkaluja. Tässä on seitsemän rakentamaani sähköpostityökalua - Ruby-skriptit, joista jokaisella on selkeä tarkoitus. "Safe Send Email" -skripti on suunniteltu estämään tekoälyä lähettämästä sähköposteja ilman hyväksyntää. Kauniin naiivi, yksinkertainen ja selkeä, eikö kielimallin pitäisi pystyä lukemaan nämä ja tietää tarkalleen, mitä pyydän sitä tekemään? Mutta se ei ole näin yksinkertaista! Anthropic suosittelee monimutkaisten työkalujen luomista. Heidän tutkimuksensa osoittaa, että "pyynnöt säästävät keskimäärin 14 % output tokeneissa, jopa 70 %", kun käytetään kehittyneitä, parametririkkaita työkaluja yksinkertaisten työkalujen sijaan. Syy? Tekoälyjärjestelmät ymmärtävät koko kontekstin paremmin kuin hajanainen tarkoitus. Vietin viikonlopun yhdistämällä kaikki työkaluni yhtenäisiksi työkaluiksi, kuten tämä sähköpostia varten: (kolmas kuva) Vaikutus tarkkuuteen oli välitön. Clauden onnistumisprosentti lähestyy 100 prosenttia. Järjestelmä on nopeampi. Tämän seurauksena käytän paljon vähemmän tokeneita tehokkaammalla järjestelmällä. Tässä on nykyinen henkinen mallini: (neljäs kuva) Kun suunnittelin uudelleen tekoälyn kognitiota varten ihmisen intuition sijaan, kaikki parani. CRM-toimintoni, kalenterinhallintani ja tietokantojen työnkulut muuttuivat luotettavammiksi, kun ne yhdistettiin kattaviksi, parametreja vaativiksi työkaluiksi. Tarkkuus parani, joten kokonaiskustannukset pienenivät merkittävästi. Mutta älä pyydä minua käyttämään työkaluja. Olen nyt hieman eksyksissä monimutkaisuuden keskellä. Tämä on väistämätön seuraus siitä, että työskentelemme korkeammilla abstraktiotasoilla, eikä enää ymmärrä konetta syvällisesti. Käytimme vuosikymmeniä tehdäksemme ohjelmistoista yksinkertaisia ihmisille. Nyt opettelemme tekemään siitä monimutkaista tekoälylle.