AI отлично справляется с достижением явных целей, но часто это происходит за счет скрытых. Теренс Тао только что написал об этом. Он указывает: AI является высшим исполнителем закона Гудхарта, т.е. когда мера становится целью, она перестает измерять то, что нам действительно важно. Возьмем колл-центр. Руководство устанавливает KPI: "сократить среднее время звонка." Звучит разумно: более короткие звонки должны означать более быстрые решения, более довольных клиентов. Сначала это работает. Агенты становятся более эффективными. Но вскоре люди начинают манипулировать этим: подталкивают клиентов повесить трубку, когда проблема сложная, или просто сами бросают звонок. Цифры выглядят потрясающе. Время звонков падает. Но удовлетворенность клиентов? Прямо в землю. Теперь замените "время звонка" на "доказать теорему X." Если бы это делали человеческие математики, они бы уточнили определения, отшлифовали леммы, внесли вклад в Mathlib, обучили младших, углубили понимание математических структур и укрепили сообщество. AI, напротив, оптимизирует только для явной цели. Он может сгенерировать доказательство на 10,000 строк за часы. Совершенно верно, но нечитаемо, непригодно и бесполезно для человеческого обучения. Вершина достигнута, но лес по пути пропал. Нам нужно начать делать наши неявные цели явными и разрабатывать системы, которые защищают ценности, которые нам действительно важны, а не только цифры, которые мы можем измерить.