## Utvärderingar är funktioner, inte produkter Jag är på denna kodningsagentträff ikväll med OAI, Any, GDM, Cursor, Factory, Delphi, Exa, @theo etc Överraskande slutsats från denna panel, om jag kanske är så djärv att jag parafraserar, var Theo som sa att det finns för många Evals startups och Thoriq och Nate och Romain var alla förvånansvärt överens om att ja, du borde gå vidare och bygga fler agenter, var inte orolig för Biglab-agenterna, de är också i grunden små interna startups ändå, Och du kommer förmodligen att ha en annan uppfattning och världen behöver se den. DÅ och först då kommer du att bygga bra evals.

Det finns en massa "håll det enkelt, dumt" åsikter om agentteknik som i princip minskar det till "Agent = LLM + Verktyg + Loop + Mål" Detta är ett minimalt livskraftigt medel, och det är bra! men anledningen till att denna definition är för minimalistisk för att vara användbar, är för att den får dig att glömma allt som gör agenter BRA: -planering -minne - Förtroende/autentisering - Utvärderingar* I februari gick jag igenom alla svar på Simons begäran om definitioner och har redan grupperat dem åt dig. med bonusakronym till STOP FORGETTING MEMORY AND PLANNING AND AUTH FLOWS "agent = llm + avsikt + minne + planering + autentisering/förtroende + kontrollflöde + verktygsanvändning" *aha! Trodde ni att jag var Mr Hate Evals? för att du bara tänker binärt?

ganska ironiskt att vi löste MxN -> M+N-problemet med MCP och sedan nästa sak alla gör nu är att lansera sina egna MCP-register (jag räknar minst 6 rn) Babel grät