AI ist großartig darin, explizite Ziele zu erreichen, oft jedoch auf Kosten der versteckten Ziele. Terence Tao hat gerade darüber geschrieben. Er weist darauf hin: AI ist der ultimative Vollstrecker von Goodhart's Gesetz, d.h. wenn eine Messgröße zum Ziel wird, hört sie auf, das zu messen, was uns wichtig ist. Nehmen wir ein Callcenter. Das Management setzt einen KPI: "durchschnittliche Anrufzeit verkürzen." Klingt vernünftig: kürzere Anrufe sollten schnellere Lösungen und glücklichere Kunden bedeuten. Zunächst funktioniert es. Die Agenten werden effizienter. Aber bald fangen die Leute an, das System auszutricksen: Sie drängen die Kunden, aufzulegen, wenn das Problem knifflig ist, oder legen einfach selbst auf. Die Zahlen sehen erstaunlich aus. Die Anrufzeiten sinken. Aber die Kundenzufriedenheit? Geht direkt in den Keller. Jetzt ersetzen Sie "Anrufzeit" durch "Beweise für Satz X." Wenn menschliche Mathematiker es tun würden, würden sie Definitionen verfeinern, Lemmas polieren, zur Mathlib beitragen, Junioren ausbilden, das Verständnis für mathematische Strukturen vertiefen und die Gemeinschaft stärken. Die AI hingegen optimiert nur für das explizite Ziel. Sie könnte in wenigen Stunden einen 10.000-zeiligen Beweis generieren. Perfekt korrekt, aber unleserlich, unbrauchbar und nutzlos für das menschliche Lernen. Der Gipfel ist erreicht, aber der Wald auf dem Weg dorthin ist verschwunden. Wir müssen anfangen, unsere impliziten Ziele explizit zu machen und Systeme zu entwerfen, die die Werte schützen, die uns tatsächlich wichtig sind, nicht nur die Zahlen, die wir messen können.