Eu esperava que isso acontecesse: a OpenAI anunciou que desenvolveu versões mini de alto desempenho do GPT-4 que funcionarão localmente em um laptop ou telefone. Isso deslocará muita inferência dos data centers para nossas máquinas locais. Quando o modelo não consegue responder a uma pergunta localmente, ele pode dizer "espere um momento enquanto eu consulto a mente coletiva..." ou algo assim e ir fazer a inferência na nuvem. Uma grande questão para aqueles de nós no mundo da eletricidade e dos data centers: como isso impactará as tendências de construção de data centers, sua demanda por eletricidade e os locais onde eles podem/estão dispostos a construir? Minha hipótese: isso diminui a demanda por inferência em data centers centralizados, ao mesmo tempo que aumenta o grau de latência que os data centers de inferência podem lidar (porque tarefas que frequentemente precisam de baixa latência serão feitas localmente).