Umělá inteligence je skvělá při dosahování konkrétních cílů, ale často na úkor těch skrytých. Terence Tao o tom právě psal. Upozorňuje: AI je konečným vykonavatelem Goodhartova zákona, tj. když se cílem stane opatření, přestane měřit to, na čem nám záleží. Vezměte si call centrum. Vedení společnosti si stanovilo KPI: "zkraťte průměrnou dobu hovoru". Zní to rozumně: kratší hovory by měly znamenat rychlejší řešení, spokojenější zákazníky. Zpočátku to funguje. Agenti se stávají efektivnějšími. Brzy si však lidé začnou hrát s tím, že budou zákazníky pošťuchovat, aby zavěsili, když je problém složitý, nebo prostě sami zavolají. Čísla vypadají úžasně. Doba hovorů prudce klesá. Ale spokojenost zákazníků? Přímo do země. Nyní nahraďte "doba hovoru" za "dokažte větu X". Kdyby to dělali lidští matematici, zdokonalovali by definice, leštili lemata, přispívali zpět do Mathlibu, trénovali juniory, prohlubovali porozumění matematickým strukturám a posilovali komunitu. Umělá inteligence naproti tomu optimalizuje pouze pro konkrétní cíl. Může vygenerovat 10 000 řádkový důkaz během několika hodin. Naprosto správné, ale nečitelné, nepoužitelné a neužitečné pro lidské učení. Vrcholu je dosaženo, ale les po cestě je pryč. Musíme začít dávat své implicitní cíle jasně najevo a navrhovat systémy, které chrání hodnoty, na kterých nám skutečně záleží, nejen čísla, která můžeme měřit.