يعد الذكاء الاصطناعي رائعا في تحقيق الأهداف الصريحة ، ولكن غالبا على حساب الأهداف المخفية. كتب تيرينس تاو للتو عن هذا. ويشير إلى أن الذكاء الاصطناعي هو المنفذ النهائي لقانون جودهارت ، أي عندما يصبح المقياس هو الهدف ، فإنه يتوقف عن قياس ما نهتم به. خذ مركز اتصال. تحدد الإدارة مؤشر أداء رئيسي: "تقصير متوسط وقت المكالمة". يبدو معقولا: يجب أن تعني المكالمات الأقصر دقة أسرع وعملاء أكثر سعادة. في البداية ، يعمل. يصبح الوكلاء أكثر كفاءة. ولكن سرعان ما يبدأ الناس في اللعب بها: دفع العملاء إلى إنهاء المكالمة عندما تكون المشكلة صعبة ، أو مجرد إسقاط المكالمة بأنفسهم. تبدو الأرقام مذهلة. تنخفض أوقات المكالمات. لكن رضا العملاء؟ مباشرة في الأرض. الآن استبدل "وقت الاتصال" ب "إثبات نظرية X". إذا فعل علماء الرياضيات البشريون ذلك ، فإنهم سيحسنون التعريفات ، ويقللون الليما ، ويساهمون مرة أخرى في Mathlib ، ويدربون الصغار ، ويعميقون فهم هياكل الرياضيات ، ويقويون المجتمع. على النقيض من ذلك ، يعمل الذكاء الاصطناعي على التحسين فقط للهدف الصريح. قد يولد دليلا من 10,000 سطر في ساعات. صحيح تماما ، ولكنه غير قابل للقراءة ، وغير قابل للاستخدام ، وعديم الفائدة للتعلم البشري. تم الوصول إلى القمة ولكن الغابة على طول الطريق قد اختفت. نحن بحاجة إلى البدء في جعل أهدافنا الضمنية واضحة وتصميم أنظمة تحمي القيم التي نهتم بها بالفعل ، وليس فقط الأرقام التي يمكننا قياسها.