AI är bra på att nå uttalade mål, men ofta på bekostnad av de dolda. Terence Tao skrev just om detta. Han påpekar: AI är den ultimata verkställaren av Goodharts lag, det vill säga när ett mått blir målet slutar det att mäta det vi bryr oss om. Ta ett callcenter. Ledningen sätter ett nyckeltal: "förkorta den genomsnittliga samtalstiden". Det låter rimligt: kortare samtal bör innebära snabbare lösningar, nöjdare kunder. Till en början fungerar det. Agenterna blir mer effektiva. Men snart börjar folk spela på det: knuffa kunder att lägga på när problemet är knepigt, eller bara släppa samtalet själva. Siffrorna ser fantastiska ut. Samtalstiderna sjunker. Men kundnöjdhet? Rakt ner i marken. Byt nu ut "samtalstid" mot "bevissats X". Om mänskliga matematiker gjorde det skulle de förfina definitionerna, polera lemmor, bidra tillbaka till Mathlib, utbilda juniorer, fördjupa förståelsen för matematiska strukturer och stärka gemenskapen. AI:n, däremot, optimerar bara för det explicita målet. Det kan generera ett bevis på 10 000 rader på några timmar. Helt korrekt, men oläslig, oanvändbar och värdelös för mänsklig inlärning. Toppen är nådd men skogen längs vägen är borta. Vi måste börja göra våra implicita mål explicita och designa system som skyddar de värden vi faktiskt bryr oss om, inte bara de siffror vi kan mäta.