Hoe @cline de "bittere les" in zijn eigen reis heeft ervaren. Toen Sonnet 4 uitkwam, ging er veel mis. Het model draaide in lussen. Nam instructies te letterlijk en deed vreemde dingen. We waren in de war. Dezelfde systeemprompt had gewerkt voor 3.5, 3.7, alles daarvoor. Op dat moment realiseerden we ons: onze prompt overbelastte de zintuigen van het model. Al die zorgvuldige instructies die we hadden geschreven? Ze verstoorden hoe het model daadwerkelijk denkt. De bittere les voor agenten: Je denkt dat je prompts kunt afstemmen en modellen beter kunt maken. En misschien werkt dat... voor nu. Maar met meer rekencapaciteit worden de modellen gewoon beter op zichzelf. En hoe meer je helpt, hoe meer je eigenlijk in de weg staat. De beste systeemprompt is degene die agenten in de juiste richting wijst, maar dan uit de weg van het model gaat.