@aidotengineer CODEでのコーディング評価の過去・現在・未来に関する最高の講演。基本的には地平線で追跡します: 秒間:コパイロット・アリーナ 議事録:LiveCodeBench 複数分:RepoChat ~時:GSO 複数時間:Syzygy 日:。。。 私が@StringChaos彼を話すよう招いたとき、彼が@Cursor_aiにフルタイムで加わっていることすら知りませんでした。LiveCodeBenchのストーリーを期待していただけです。しかし、夢にも思わなかったものを手に入れた。過去3年間でKodingの評価がどのように進化してきたか、そしてコミュニティが学んだこと、O3の報酬ハッキング、そして今では大量のコードの移行のためのベンチマークや、レイテンシーや現実世界の制約を調整するためのオンライン評価など、包括的な見通しです。最後に、自分でコーディング評価を作成する場合の、実際に指示的な推奨事項をいくつか挙げます。