AI is geweldig in het behalen van expliciete doelen, maar vaak ten koste van de verborgen doelen. Terence Tao heeft hier net over geschreven. Hij wijst erop: AI is de ultieme uitvoerder van de wet van Goodhart, d.w.z. wanneer een maatstaf het doel wordt, stopt het met meten wat we belangrijk vinden. Neem een callcenter. Het management stelt een KPI in: "verkort de gemiddelde belduur." Klinkt redelijk: kortere gesprekken zouden moeten betekenen snellere oplossingen, gelukkigere klanten. In het begin werkt het. Agenten worden efficiënter. Maar al snel beginnen mensen het systeem te manipuleren: klanten aanmoedigen om op te hangen wanneer het probleem lastig is, of gewoon zelf de verbinding verbreken. De cijfers zien er geweldig uit. De belduur daalt. Maar klanttevredenheid? Recht de grond in. Vervang nu "belduur" door "bewijs stelling X." Als menselijke wiskundigen het zouden doen, zouden ze definities verfijnen, lemma's polijsten, bijdragen aan Mathlib, junioren opleiden, de kennis van wiskundige structuren verdiepen en de gemeenschap versterken. De AI, daarentegen, optimaliseert alleen voor het expliciete doel. Het kan in enkele uren een bewijs van 10.000 regels genereren. Perfect correct, maar onleesbaar, onbruikbaar en nutteloos voor menselijk leren. De top is bereikt, maar het bos langs de weg is verdwenen. We moeten beginnen met het expliciet maken van onze impliciete doelen en systemen ontwerpen die de waarden beschermen waar we echt om geven, niet alleen de cijfers die we kunnen meten.