L'AI è ottima nel raggiungere obiettivi espliciti, ma spesso a scapito di quelli nascosti. Terence Tao ha appena scritto a riguardo. Sottolinea: l'AI è l'esecutore definitivo della legge di Goodhart, ovvero quando una misura diventa l'obiettivo, smette di misurare ciò che ci interessa. Prendiamo un call center. La direzione stabilisce un KPI: "ridurre il tempo medio di chiamata." Sembra ragionevole: chiamate più brevi dovrebbero significare risoluzioni più rapide, clienti più soddisfatti. All'inizio funziona. Gli agenti diventano più efficienti. Ma presto, le persone iniziano a manipolarlo: spingendo i clienti a riattaccare quando il problema è complicato, o semplicemente riattaccando loro stessi. I numeri sembrano fantastici. I tempi di chiamata crollano. Ma la soddisfazione del cliente? Direttamente a terra. Ora sostituisci "tempo di chiamata" con "dimostrare il teorema X." Se lo facessero i matematici umani, affinerebbero le definizioni, luciderebbero i lemmi, contribuirebbero a Mathlib, formerebbero i junior, approfondirebbero la comprensione delle strutture matematiche e rafforzerebbero la comunità. L'AI, al contrario, ottimizza solo per l'obiettivo esplicito. Potrebbe generare una dimostrazione di 10.000 righe in poche ore. Perfettamente corretta, ma illeggibile, inutilizzabile e inutile per l'apprendimento umano. La vetta è raggiunta ma la foresta lungo il cammino è scomparsa. Dobbiamo iniziare a rendere espliciti i nostri obiettivi impliciti e progettare sistemi che proteggano i valori a cui teniamo davvero, non solo i numeri che possiamo misurare.