Ik verwachtte dat dit eraan kwam: OpenAI heeft aangekondigd dat ze een hoog presterende mini-versie van GPT-4 hebben ontwikkeld die lokaal op een laptop of telefoon kan draaien. Dit zal veel inferentie van datacenters naar onze lokale machines verschuiven. Wanneer het model lokaal geen antwoord op een vraag kan geven, kan het zeggen: "wacht even terwijl ik overleg met de hive mind..." of iets dergelijks en de inferentie in de cloud uitvoeren. Een grote vraag voor degenen onder ons in de elektriciteits- en datacenterwereld: hoe zal dit de trends in de bouw van datacenters, de vraag naar elektriciteit en de locaties waar ze kunnen/willen bouwen beïnvloeden? Mijn hypothese: het vermindert de vraag naar inferentie in gecentraliseerde datacenters, terwijl het ook de mate van latentie verhoogt waarmee inferentiedatacenters kunnen omgaan (omdat taken die vaak lage latentie vereisen lokaal zullen worden uitgevoerd).