Saya pikir ini adalah cara yang baik untuk memvisualisasikan perlombaan AI menggunakan tolok ukur GPQA Diamond yang berumur panjang. Anda dapat melihat berapa lama OpenAI memiliki bidang untuk dirinya sendiri, kebangkitan (dan keruntuhan) Meta, pengejaran tiba-tiba (dan kemudian stagnasi) xAI, dan masuknya LLM Cina bobot terbuka.

Tes Tanya Jawab Google-Proof (GPQA) Tingkat Pascasarjana adalah serangkaian soal pilihan ganda yang dirancang untuk menguji pengetahuan tingkat lanjut. Non-ahli dengan akses internet mendapatkan 34% dengan benar, PhD dengan akses internet mendapatkan 65-70% dalam spesialisasi mereka. Kita mungkin mendekati kejenuhan

Saya memerintahkan Codex agar ini dibuat. Data dari @EpochAIResearch.