AI在實現明確目標方面表現出色，但往往以犧牲隱性目標為代價。 特倫斯·陶剛剛寫了關於這個問題。他指出：AI是古德哈特法則的終極執行者，即當一個指標成為目標時，它就停止衡量我們關心的事物。 以呼叫中心為例。管理層設定了一個KPI：“縮短平均通話時間。”聽起來合理：更短的通話應該意味著更快的解決方案，更滿意的客戶。 起初，這有效。代理變得更高效。但很快，人們開始利用這一點：在問題棘手時，促使客戶掛斷電話，或者自己直接掛斷。 數字看起來很驚人。通話時間驟降。但客戶滿意度呢？直線下降。 現在把“通話時間”替換為“證明定理X”。 如果是人類數學家來做，他們會完善定義，打磨引理，回饋Mathlib，培訓初學者，加深對數學結構的理解，並增強社區。 相比之下，AI只優化明確目標。它可能在幾個小時內生成一份1萬行的證明。完全正確，但難以閱讀、無法使用，對人類學習毫無用處。 頂峰已達，但沿途的森林卻消失了。 我們需要開始將隱性目標明確化，並設計保護我們真正關心的價值的系統，而不僅僅是我們可以衡量的數字。