## Evals là tính năng, không phải sản phẩm Tôi đang tham gia buổi gặp mặt các đại lý lập trình tối nay với OAI, Any, GDM, Cursor, Factory, Delphi, Exa, @theo, v.v. Kết luận bất ngờ từ hội đồng này, nếu tôi có thể nói một cách táo bạo, là theo lời theo, có quá nhiều công ty khởi nghiệp evals và thariq, nate và romain đều đồng ý một cách bất ngờ rằng vâng, bạn nên tiếp tục xây dựng nhiều đại lý hơn, đừng lo lắng về các đại lý biglab, họ cũng cơ bản là những công ty khởi nghiệp nội bộ nhỏ, và bạn sẽ có một góc nhìn khác và thế giới cần thấy điều đó. SAU ĐÓ và chỉ SAU ĐÓ bạn sẽ xây dựng được evals tốt.

có một loạt ý kiến về "giữ cho nó đơn giản, ngốc nghếch" trong kỹ thuật đại lý đang lan truyền mà cơ bản giảm nó xuống "đại lý = llm + công cụ + vòng lặp + mục tiêu" đây là một đại lý khả thi tối thiểu, và điều đó thật tuyệt! nhưng lý do mà định nghĩa này quá tối giản để có ích, là vì nó khiến bạn quên đi mọi thứ làm cho các đại lý TỐT: - lập kế hoạch - trí nhớ - tin cậy/xác thực - đánh giá* vào tháng 2, tôi đã khảo sát tất cả các phản hồi cho yêu cầu định nghĩa của Simon và đã phân loại chúng cho bạn. với từ viết tắt bổ sung để NGỪNG QUÊN TRÍ NHỚ VÀ LẬP KẾ HOẠCH VÀ DÒNG XÁC THỰC "đại lý = llm + Ý định + Trí nhớ + Lập kế hoạch + Xác thực/tin cậy + Dòng điều khiển + Sử dụng công cụ" *aha! bạn nghĩ tôi là người ghét đánh giá? vì bạn chỉ nghĩ theo nhị phân?

thật mỉa mai khi chúng ta đã giải quyết vấn đề MxN -> M+N với MCP và sau đó điều tiếp theo mà mọi người đang làm bây giờ là khởi động các đăng ký MCP của riêng họ (tôi đếm ít nhất 6 cái hiện tại) babel đã khóc