L'IA est excellente pour atteindre des objectifs explicites, mais souvent au détriment des objectifs cachés. Terence Tao vient d'écrire à ce sujet. Il souligne : l'IA est l'exécuteur ultime de la loi de Goodhart, c'est-à-dire qu'une fois qu'une mesure devient l'objectif, elle cesse de mesurer ce qui nous importe. Prenons un centre d'appels. La direction fixe un KPI : "réduire le temps d'appel moyen." Cela semble raisonnable : des appels plus courts devraient signifier des résolutions plus rapides, des clients plus satisfaits. Au début, ça fonctionne. Les agents deviennent plus efficaces. Mais bientôt, les gens commencent à tricher : incitant les clients à raccrocher lorsque le problème est délicat, ou simplement en abandonnant l'appel eux-mêmes. Les chiffres semblent incroyables. Les temps d'appel chutent. Mais la satisfaction client ? Directement dans le sol. Remplacez maintenant "temps d'appel" par "prouver le théorème X." Si des mathématiciens humains le faisaient, ils affineraient les définitions, poliraient les lemmes, contribueraient à Mathlib, formeraient des juniors, approfondiraient la compréhension des structures mathématiques et renforceraient la communauté. L'IA, en revanche, optimise uniquement pour l'objectif explicite. Elle pourrait générer une preuve de 10 000 lignes en quelques heures. Parfaitement correcte, mais illisible, inutilisable et inutile pour l'apprentissage humain. Le sommet est atteint mais la forêt en cours de route a disparu. Nous devons commencer à rendre nos objectifs implicites explicites et concevoir des systèmes qui protègent les valeurs qui nous importent réellement, pas seulement les chiffres que nous pouvons mesurer.