AI jest świetny w osiąganiu wyraźnych celów, ale często kosztem ukrytych. Terence Tao właśnie o tym napisał. Zauważa: AI jest ostatecznym wykonawcą prawa Goodharta, tzn. gdy miara staje się celem, przestaje mierzyć to, co nas interesuje. Weźmy centrum obsługi klienta. Zarząd ustala KPI: „skrócić średni czas rozmowy.” Brzmi rozsądnie: krótsze rozmowy powinny oznaczać szybsze rozwiązania, zadowolonych klientów. Na początku działa. Agenci stają się bardziej efektywni. Ale wkrótce ludzie zaczynają to oszukiwać: nakłaniając klientów do rozłączenia się, gdy problem jest trudny, lub po prostu sami zrywając połączenie. Liczby wyglądają niesamowicie. Czas rozmów spada. Ale satysfakcja klientów? Prosto w dół. Teraz zastąp „czas rozmowy” „udowodnij twierdzenie X.” Gdyby robili to ludzie matematycy, udoskonaliliby definicje, dopracowali lemy, wnieśli wkład do Mathlib, szkolili młodszych, pogłębiali zrozumienie struktur matematycznych i wzmacniali społeczność. AI, w przeciwieństwie do tego, optymalizuje tylko dla wyraźnego celu. Może wygenerować dowód liczący 10 000 linii w ciągu kilku godzin. Idealnie poprawny, ale nieczytelny, nieprzydatny i bezużyteczny dla ludzkiego uczenia się. Szczyt został osiągnięty, ale las po drodze zniknął. Musimy zacząć czynić nasze ukryte cele wyraźnymi i projektować systemy, które chronią wartości, na których naprawdę nam zależy, a nie tylko liczby, które możemy zmierzyć.