Mă așteptam să vină acest lucru: OpenAI a anunțat că a dezvoltat o versiune mini de înaltă performanță a GPT-o4 care va rula local pe un laptop sau un telefon. Acest lucru va muta o mulțime de inferențe din centrele de date pe mașinile noastre locale. Când modelul nu poate răspunde la o întrebare local, poate spune "așteaptă doar o clipă în timp ce vorbesc cu mintea stupului..." sau orice altceva și mergeți să faceți inferență în cloud. Marea întrebare pentru cei dintre noi din lumea electricității și a centrelor de date: cum va afecta acest lucru tendințele de construcție a centrelor de date, cererea lor de energie electrică și locațiile pe care sunt capabile/dispuse să le construiască? Ipoteza mea: reduce cererea de inferență în centrele de date centralizate, crescând în același timp gradul de latență cu care se pot confrunta centrele de date de inferență (deoarece sarcinile necesare frecvent cu latență scăzută vor fi efectuate local).