La IA es excelente para alcanzar objetivos explícitos, pero a menudo a costa de los ocultos. Terence Tao acaba de escribir sobre esto. Señala: La IA es el ejecutor último de la ley de Goodhart, es decir, cuando una medida se convierte en el objetivo, deja de medir lo que nos importa. Tome un centro de llamadas. La gerencia establece un KPI: "acortar el tiempo promedio de llamada". Suena razonable: las llamadas más cortas deberían significar resoluciones más rápidas, clientes más felices. Al principio, funciona. Los agentes se vuelven más eficientes. Pero pronto, la gente comienza a jugar: empujando a los clientes a colgar cuando el problema es complicado, o simplemente cortando la llamada ellos mismos. Los números se ven increíbles. Los tiempos de llamada caen en picado. ¿Pero la satisfacción del cliente? Directo al suelo. Ahora reemplaza "tiempo de llamada" con "demuestra el teorema X". Si los matemáticos humanos lo hicieran, refinarían definiciones, pulirían lemas, contribuirían a Mathlib, capacitarían a los jóvenes, profundizarían la comprensión de las estructuras matemáticas y fortalecerían la comunidad. La IA, por el contrario, optimiza solo para el objetivo explícito. Podría generar una prueba de 10,000 líneas en horas. Perfectamente correcto, pero ilegible, inutilizable e inútil para el aprendizaje humano. Se llega a la cima, pero el bosque en el camino ha desaparecido. Necesitamos comenzar a hacer explícitos nuestros objetivos implícitos y diseñar sistemas que protejan los valores que realmente nos importan, no solo los números que podemos medir.