AI er god til å nå eksplisitte mål, men ofte på bekostning av de skjulte. Terence Tao skrev nettopp om dette. Han påpeker: AI er den ultimate utøveren av Goodharts lov, det vil si at når et tiltak blir målet, slutter det å måle det vi bryr oss om. Ta et kundesenter. Ledelsen setter en KPI: "forkort gjennomsnittlig samtaletid." Høres rimelig ut: kortere samtaler bør bety raskere oppløsninger, mer fornøyde kunder. Til å begynne med fungerer det. Agenter blir mer effektive. Men snart begynner folk å spille det: dytte kunder til å legge på når problemet er vanskelig, eller bare droppe samtalen selv. Tallene ser fantastiske ut. Samtaletidene stuper. Men kundetilfredshet? Rett ned i bakken. Bytt nå ut «ringetid» med «bevisteorem X». Hvis menneskelige matematikere gjorde det, ville de avgrense definisjoner, polere lemmaer, bidra tilbake til Mathlib, trene juniorer, utdype forståelsen av matematiske strukturer og styrke fellesskapet. AI, derimot, optimaliserer bare for det eksplisitte målet. Det kan generere et bevis på 10 000 linjer i løpet av timer. Helt korrekt, men uleselig, ubrukelig og ubrukelig for menneskelig læring. Toppen er nådd, men skogen underveis er borte. Vi må begynne å gjøre våre implisitte mål eksplisitte og designe systemer som beskytter verdiene vi faktisk bryr oss om, ikke bare tallene vi kan måle.