AI は明確な目標を達成するのに優れていますが、多くの場合、隠れた目標を犠牲にします。 テレンス・タオはこれについて書いたばかりです。彼は、AIはグッドハートの法則の最終的な執行者であり、つまり、ある指標がターゲットになると、私たちが関心を持っているものを測定しなくなります。 コールセンターを例に挙げてみましょう。経営陣は「平均通話時間の短縮」というKPIを設定します。合理的に聞こえますが、通話が短いほど、解決が早くなり、顧客の満足度が高まるはずです。 最初はうまくいきます。エージェントの効率が向上します。しかしすぐに、人々はそれをゲームに使い始めます:問題が難しいときに顧客に電話を切るように促したり、自分で電話を切ったりします。 数字は驚くべきものです。通話時間が急減しました。しかし、顧客満足度は?真っ直ぐ地面に突き刺さる。 次に、「呼び出し時間」を「定理Xを証明する」に置き換えます。 人間の数学者がそれをやれば、定義を洗練させ、補題を磨き、Mathlib に貢献し、後輩を訓練し、数学構造の理解を深め、コミュニティを強化するでしょう。 対照的に、AI は明示的な目標に対してのみ最適化します。数時間で 10,000 行の証明が生成される場合があります。完全に正しいが、読めず、使えず、人間の学習には役に立たない。 頂上には到達しましたが、途中の森は消えています。 暗黙の目標を明確にし、測定できる数字だけでなく、実際に関心のある価値観を保護するシステムを設計する必要があります。