Bence bu, uzun ömürlü GPQA Diamond benchmarkı kullanarak yapay zeka yarışını görselleştirmenin iyi bir yolu. OpenAI'nin alana ne kadar süre sahip olduğunu, Meta'nın yükselişini (ve çöküşünü), xAI'nin ani yakalamasını (ve ardından durgunluğunu) ve açık ağırlıklı Çin LLM'lerinin girişini görebilirsiniz.

Lisansüstü Düzey Google-Proof Soru-Cevap testi (GPQA), ileri düzey bilgiyi test etmek için tasarlanmış bir dizi sert çoktan seçmeli problemdir. İnternete erişimi olan uzman olmayanlar %34 doğru alırken, internet erişimi olan doktora sahipleri uzmanlık alanlarında %65-70 oranını alır. Muhtemelen doygunluğa yakınız

Bunun yapılmasını Codex'e emrettim. @EpochAIResearch'den gelen veriler.