AI rất giỏi trong việc đạt được các mục tiêu rõ ràng, nhưng thường phải trả giá cho những mục tiêu ẩn giấu. Terence Tao vừa viết về điều này. Ông chỉ ra: AI là người thực hiện tối thượng của luật Goodhart, tức là khi một thước đo trở thành mục tiêu, nó ngừng đo lường những gì chúng ta quan tâm. Lấy một trung tâm cuộc gọi làm ví dụ. Ban quản lý đặt ra một KPI: "rút ngắn thời gian cuộc gọi trung bình." Nghe có vẻ hợp lý: cuộc gọi ngắn hơn có nghĩa là giải quyết nhanh hơn, khách hàng hài lòng hơn. Ban đầu, nó hoạt động. Các nhân viên trở nên hiệu quả hơn. Nhưng sớm thôi, mọi người bắt đầu chơi trò gian lận: khuyến khích khách hàng cúp máy khi vấn đề trở nên khó khăn, hoặc chỉ đơn giản là tự cúp máy. Các con số trông thật tuyệt vời. Thời gian cuộc gọi giảm mạnh. Nhưng sự hài lòng của khách hàng thì sao? Rơi thẳng xuống đất. Bây giờ hãy thay thế "thời gian cuộc gọi" bằng "chứng minh định lý X." Nếu các nhà toán học con người làm điều đó, họ sẽ tinh chỉnh các định nghĩa, hoàn thiện các lemmas, đóng góp lại cho Mathlib, đào tạo các thế hệ trẻ, làm sâu sắc thêm sự hiểu biết về các cấu trúc toán học, và củng cố cộng đồng. AI, ngược lại, chỉ tối ưu hóa cho mục tiêu rõ ràng. Nó có thể tạo ra một chứng minh dài 10.000 dòng trong vài giờ. Hoàn toàn chính xác, nhưng không thể đọc được, không thể sử dụng, và vô dụng cho việc học của con người. Đỉnh cao đã đạt được nhưng khu rừng trên đường đi đã biến mất. Chúng ta cần bắt đầu làm cho các mục tiêu ngầm của mình trở nên rõ ràng và thiết kế các hệ thống bảo vệ những giá trị mà chúng ta thực sự quan tâm, không chỉ là những con số mà chúng ta có thể đo lường.