AI hebat dalam mencapai tujuan eksplisit, tetapi seringkali dengan mengorbankan tujuan yang tersembunyi. Terence Tao baru saja menulis tentang ini. Dia menunjukkan: AI adalah pelaksana utama hukum Goodhart, yaitu ketika suatu ukuran menjadi target, ia berhenti mengukur apa yang kita pedulikan. Ambil pusat panggilan. Manajemen menetapkan KPI: "mempersingkat waktu panggilan rata-rata." Kedengarannya masuk akal: panggilan yang lebih singkat berarti resolusi yang lebih cepat, pelanggan yang lebih bahagia. Pada awalnya, itu berhasil. Agen menjadi lebih efisien. Tapi segera, orang-orang mulai mempermainkannya: mendorong pelanggan untuk menutup telepon ketika masalahnya rumit, atau hanya membatalkan panggilan itu sendiri. Angka-angkanya terlihat luar biasa. Waktu panggilan anjlok. Tapi kepuasan pelanggan? Langsung ke tanah. Sekarang ganti "waktu panggilan" dengan "buktikan teorema X". Jika matematikawan manusia melakukannya, mereka akan menyempurnakan definisi, memoles lema, berkontribusi kembali ke Mathlib, melatih junior, memperdalam pemahaman tentang struktur matematika, dan memperkuat komunitas. AI, sebaliknya, hanya mengoptimalkan untuk tujuan eksplisit. Ini mungkin menghasilkan bukti 10.000 baris dalam beberapa jam. Benar-benar benar, tetapi tidak dapat dibaca, tidak dapat digunakan, dan tidak berguna untuk pembelajaran manusia. Puncaknya tercapai tetapi hutan di sepanjang jalan hilang. Kita perlu mulai membuat tujuan implisit kita eksplisit dan merancang sistem yang melindungi nilai-nilai yang benar-benar kita pedulikan, bukan hanya angka yang dapat kita ukur.