A IA é ótima em atingir objetivos explícitos, mas muitas vezes à custa dos ocultos. Terence Tao acabou de escrever sobre isso. Ele aponta: a IA é o executor supremo da lei de Goodhart, ou seja, quando uma medida se torna o alvo, ela para de medir o que realmente nos importa. Pegue um call center. A gestão define um KPI: “encurtar o tempo médio de chamada.” Parece razoável: chamadas mais curtas devem significar resoluções mais rápidas, clientes mais felizes. No início, funciona. Os agentes se tornam mais eficientes. Mas logo, as pessoas começam a manipular isso: incentivando os clientes a desligar quando o problema é complicado, ou simplesmente desligando a chamada elas mesmas. Os números parecem incríveis. Os tempos de chamada despencam. Mas a satisfação do cliente? Cai a pique. Agora substitua “tempo de chamada” por “provar o teorema X.” Se matemáticos humanos fizessem isso, eles refinariam definições, poliriam lemas, contribuiriam de volta para o Mathlib, treinariam os mais novos, aprofundariam a compreensão das estruturas matemáticas e fortaleceriam a comunidade. A IA, em contraste, otimiza apenas para o objetivo explícito. Ela pode gerar uma prova de 10.000 linhas em horas. Perfeitamente correta, mas ilegível, inutilizável e inútil para o aprendizado humano. O cume é alcançado, mas a floresta ao longo do caminho desapareceu. Precisamos começar a tornar nossos objetivos implícitos explícitos e projetar sistemas que protejam os valores que realmente nos importam, não apenas os números que podemos medir.