Le truc incroyablement astucieux que tous les laboratoires d'IA de pointe utilisent, ce qui rend les LLMs si fabuleusement puissants : ils régularisent à peine, ce qui donne des modèles qui sont massivement surajustés. Cela poserait un problème, sauf qu'ils sont surajustés au domaine de l'ensemble des connaissances culturelles humaines.
118,45K