Штучний інтелект чудово влучає в явні цілі, але часто за рахунок прихованих. Про це якраз і писав Теренс Тао. Він вказує: штучний інтелект є кінцевим виконавцем закону Гудхарта, тобто, коли міра стає метою, він перестає вимірювати те, що нас хвилює. Запишіться в колл-центр. Керівництво встановлює KPI: «скоротити середній час розмови». Звучить розумно: коротші дзвінки мають означати швидші рішення, щасливіших клієнтів. На перших порах це спрацьовує. Агенти стають більш ефективними. Але незабаром люди починають грати в це: підштовхувати клієнтів покласти слухавку, коли проблема підступна, або просто скидати дзвінок самостійно. Цифри виглядають приголомшливо. Час дзвінків різко падає. Але задоволеність клієнтів? Прямо в землю. Тепер замініть «час виклику» на «доведення теореми X». Якби математики-люди це робили, вони б уточнювали визначення, шліфували леми, робили свій внесок у Mathlib, навчали молодших школярів, поглиблювали розуміння математичних структур і зміцнювали спільноту. Штучний інтелект, навпаки, оптимізується тільки для явної мети. Він може згенерувати 10 000 рядків доказу за години. Абсолютно правильний, але нечитабельний, непридатний для використання і марний для навчання людини. Вершини досягнуто, але лісу по дорозі вже немає. Ми повинні почати робити наші неявні цілі явними і розробляти системи, які захищають цінності, про які ми насправді дбаємо, а не тільки цифри, які ми можемо виміряти.