Jag förväntade mig att detta skulle komma: OpenAI meddelade att de har utvecklat en högpresterande miniversion av GPT-o4 som kommer att köras lokalt på en bärbar dator eller en telefon. Detta kommer att flytta en hel del slutsatser från datacenter till våra lokala maskiner. När modellen inte kan svara på en fråga lokalt kan den säga "vänta bara ett ögonblick medan jag konfererar med hive mind..." Eller vad som helst och gå och göra inferens i molnet. En stor fråga för oss i el- och datacentervärlden: hur kommer detta att påverka trenderna för utbyggnad av datacenter, deras efterfrågan på el och platser som de kan/vill bygga? Min hypotes: det sätter en buckla i efterfrågan på inferens i centraliserade datacenter, samtidigt som det ökar graden av latens som inferensdatacenter kan hantera (eftersom ofta nödvändiga uppgifter med låg latens kommer att utföras lokalt).