Ik denk dat dit een goede manier is om de AI-race te visualiseren met behulp van de langlevende GPQA Diamond benchmark. Je kunt zien hoe lang OpenAI het veld voor zichzelf had, de opkomst (en ineenstorting) van Meta, de plotselinge inhaalslag (en daarna stagnatie) van xAI, en de toetreding van open gewichten Chinese LLM's.

De Graduate-Level Google-Proof Q&A-test (GPQA) is een reeks moeilijke meerkeuzevragen die zijn ontworpen om geavanceerde kennis te testen. Niet-experts met toegang tot het internet krijgen 34% goed, PhD's met internettoegang krijgen 65-70% binnen hun specialiteit. We zijn waarschijnlijk dicht bij verzadiging.

Ik gaf Codex de opdracht om dit te maken. Gegevens van @EpochAIResearch.