A IA é ótima para atingir objetivos explícitos, mas muitas vezes às custas dos ocultos. Terence Tao acabou de escrever sobre isso. Ele ressalta: a IA é o executor final da lei de Goodhart, ou seja, quando uma medida se torna o alvo, ela para de medir o que nos importa. Pegue um call center. A gerência define um KPI: "reduza o tempo médio de chamada". Parece razoável: chamadas mais curtas devem significar resoluções mais rápidas, clientes mais felizes. No começo, funciona. Os agentes se tornam mais eficientes. Mas logo, as pessoas começam a jogar: cutucando os clientes para desligar quando o problema é complicado ou simplesmente desligando a ligação. Os números parecem incríveis. Os tempos de chamada despencam. Mas a satisfação do cliente? Direto para o chão. Agora substitua "tempo de chamada" por "provar o teorema X". Se os matemáticos humanos fizessem isso, eles refinariam definições, poliriam lemas, contribuiriam de volta para o Mathlib, treinariam juniores, aprofundariam a compreensão das estruturas matemáticas e fortaleceriam a comunidade. A IA, por outro lado, otimiza apenas para o objetivo explícito. Pode gerar uma prova de 10.000 linhas em horas. Perfeitamente correto, mas ilegível, inutilizável e inútil para o aprendizado humano. O cume é alcançado, mas a floresta ao longo do caminho se foi. Precisamos começar a tornar explícitos nossos objetivos implícitos e projetar sistemas que protejam os valores com os quais realmente nos importamos, não apenas os números que podemos medir.