AI este excelent la atingerea obiectivelor explicite, dar adesea cu prețul celor ascunse. Terence Tao tocmai a scris despre asta. El subliniază: AI este executorul final al legii lui Goodhart, adică atunci când o măsură devine țintă, încetează să măsoare ceea ce ne pasă. Luați un call center. Managementul stabilește un KPI: "scurtați timpul mediu de apel". Sună rezonabil: apeluri mai scurte ar trebui să însemne rezoluții mai rapide, clienți mai fericiți. La început, funcționează. Agenții devin mai eficienți. Dar în curând, oamenii încep să se joace: îndemnându-i pe clienți să închidă când problema este dificilă sau pur și simplu renunțând ei înșiși la apel. Cifrele arată uimitor. Timpii de apel scad. Dar satisfacția clienților? Direct în pământ. Acum înlocuiți "timpul de apel" cu "teorema de probă X". Dacă matematicienii umani ar face acest lucru, ar rafina definițiile, leme, ar contribui înapoi la Mathlib, ar instrui juniorii, ar aprofunda înțelegerea structurilor matematice și ar întări comunitatea. AI, în schimb, optimizează doar pentru scopul explicit. Ar putea genera o dovadă de 10.000 de linii în câteva ore. Perfect corect, dar ilizibil, inutilizabil și inutil pentru învățarea umană. Vârful este atins, dar pădurea de pe drum a dispărut. Trebuie să începem să ne explicăm obiectivele implicite și să proiectăm sisteme care să protejeze valorile de care ne pasă de fapt, nu doar numerele pe care le putem măsura.