## Evals er funksjoner, ikke produkter Jeg er på dette kodeagentmøtet i kveld med OAI, Any, GDM, Cursor, Factory, Delphi, Exa, @theo etc Overraskende konklusjon fra dette panelet, hvis jeg kanskje er så dristig å parafrasere, var Theo som sa at det er for mange Evals-startups og Thariq og Nate og Romain som alle overraskende var enige om at ja, du bør gå videre og bygge flere agenter, ikke vær bekymret for biglab-agentene, de er også i utgangspunktet små interne startups uansett, og du vil sannsynligvis ha en annen oppfatning, og verden trenger å se det. DA og først da vil du bygge gode evals.

Det er en haug med "hold det enkelt, dumme" agentingeniørmeninger som går rundt som i utgangspunktet reduserer det til "Agent = LLM + Verktøy + Loop + Mål" Dette er et minimalt levedyktig middel, og det er flott! men grunnen til at denne definisjonen er for minimalistisk til å være nyttig, er fordi den får deg til å glemme alt som gjør agenter GODE: -planlegging -hukommelse - Tillit/godkjenning - Evals* i februar undersøkte jeg alle svarene på Simons forespørsler om definisjoner og samlet dem allerede for deg. med bonusakronym for å SLUTT Å GLEMME MINNE OG PLANLEGGING OG GODKJENNINGSFLYTER "agent = llm + Hensikt + Minne + Planlegging + Godkjenning/tillit + Kontrollflyt + Verktøybruk" *aha! Du trodde jeg er Mr Hate Evals? fordi du bare tenker binært?

litt ironisk at vi løste MxN -> M+N-problemet med MCP og så er det neste alle gjør nå å lansere sine egne MCP-registre (jeg teller minst 6 rn) Babel gråt