Je m'attendais à ce que cela arrive : OpenAI a annoncé qu'ils avaient développé des versions miniatures à haute performance de GPT-4 qui fonctionneront localement sur un ordinateur portable ou un téléphone. Cela déplacera beaucoup d'inférences des centres de données vers nos machines locales. Lorsque le modèle ne peut pas répondre à une question localement, il peut dire "attendez un instant pendant que je consulte l'esprit collectif..." ou autre et aller faire l'inférence dans le cloud. La grande question pour ceux d'entre nous dans le monde de l'électricité et des centres de données : comment cela impactera-t-il les tendances de construction des centres de données, leur demande en électricité et les emplacements où ils peuvent ou veulent construire ? Ma hypothèse : cela réduit la demande d'inférence dans les centres de données centralisés, tout en augmentant le degré de latence que les centres de données d'inférence peuvent gérer (car les tâches nécessitant une faible latence seront effectuées localement).