## Evals sind Funktionen, keine Produkte Ich bin heute Abend bei diesem Coding-Agenten-Meetup mit OAI, Any, GDM, Cursor, Factory, Delphi, Exa, @theo usw. Die überraschende Schlussfolgerung aus diesem Panel, wenn ich so kühn sein darf, es zu paraphrasieren, war, dass Theo sagte, es gibt zu viele Eval-Startups und Thariq, Nate und Romain alle überraschend zustimmten, dass ja, du solltest mehr Agenten bauen, mach dir keine Sorgen um die Biglab-Agenten, sie sind auch im Grunde kleine interne Startups, und du wirst wahrscheinlich eine andere Perspektive haben und die Welt muss sie sehen. DANN und nur DANN wirst du gute Evals bauen.

Es gibt eine Menge von Meinungen zur "Keep it simple, stupid" Agenten-Engineering, die es im Grunde auf "Agent = LLM + Tools + Schleife + Ziel" reduzieren. Das ist ein minimal funktionsfähiger Agent, und das ist großartig! Aber der Grund, warum diese Definition zu minimalistisch ist, um nützlich zu sein, ist, dass sie dich alles vergessen lässt, was Agenten GUT macht: - Planung - Gedächtnis - Vertrauen/Auth - Bewertungen* Im Februar habe ich alle Antworten auf Simons Anfragen nach Definitionen untersucht und bereits für dich gruppiert. Mit einem zusätzlichen Akronym, um ZU VERGESSEN von GEDÄCHTNIS, PLANUNG UND AUTH FLOWS zu stoppen. "Agent = LLM + Absicht + Gedächtnis + Planung + Auth/Vertrauen + Kontrollfluss + Werkzeugnutzung" *aha! Du dachtest, ich bin der, der Bewertungen hasst? Weil du nur binär denkst?

Es ist irgendwie ironisch, dass wir das MxN -> M+N Problem mit MCP gelöst haben und das nächste, was jetzt jeder macht, ist, seine eigenen MCP-Register zu starten (ich zähle mindestens 6 gerade) Babel weinte