menemukan cara "membatalkan" RL dan mengubah gpt-oss kembali menjadi model dasar akan menurunkan beban besok Gn

Oke, butuh bantuan! mencoba menyempurnakan GPT-OSS selama akhir pekan. ini bekerja selama ~100 langkah, lalu melemparkan kesalahan CUDA kehabisan memori Dugaan saya adalah bahwa seringkali, semua token dialihkan ke satu ahli. Kemudian pelatihan crash. Apakah ada perbaikan yang mudah? belum pernah menyempurnakan MoE sebelumnya

Model mana yang harus kita lakukan selanjutnya?

penasaran dengan data pelatihan model gpt-oss baru OpenAI? Saya juga. Jadi saya menghasilkan 10 juta contoh dari gpt-oss-20b, menjalankan beberapa analisis, dan hasilnya adalah... cukup aneh Saatnya menyelam 🧵 lebih dalam

penjelasan terpendek tentang GPT-5: inilah yang diprediksi oleh hukum penskalaan! Modelnya lebih baik, pengembaliannya berkurang, dan sayangnya peningkatan kecerdasan umum mutlak hanya akan menjadi lebih kecil Kabar baiknya adalah masih banyak yang harus dilakukan. Kepribadian, penalaran, ingatan, dan kreativitas masih menjadi masalah terbuka

waktu yang tepat untuk mengingatkan semua orang bahwa skor tinggi di SWEbench benar-benar hanya menunjukkan data pelatihan mengandung proporsi Django yang cukup besar

bagian yang paling mengesankan dari GPT-5 adalah lompatan dalam konteks panjang Bagaimana Anda melakukan ini? menghasilkan beberapa data sintetis jarak jauh yang aneh? Memindai banyak buku?

dunia VC memberikan banyak nilai tetapi terkadang terasa seperti mereka hanya membakar uang. beberapa startup yang saya kenal mengumpulkan total ~ 100 juta tiga tahun lalu untuk membuat AI, membangun perangkat lunak yang tidak pernah digunakan oleh siapa pun, dan sekarang mereka semua bekerja di tempat lain untuk hal-hal yang tidak terkait. Ke mana semua uang itu pergi?

aneh di era media sosial untuk merasa bahwa semua orang sedang mengerjakan ulasan & bantahan NeurIPS tetapi tidak ada yang membicarakannya secara publik. Saya berkontribusi pada tiga bantahan. Salah satu dari ketiganya sangat membuat frustrasi. Siapa lagi yang mengerjakan bantahan? Bagaimana kabarmu?

Sam Altman ingin membangun model yang diberi peringkat 3200 di CodeForces tetapi tidak tahu siapa Sam Altman Dan saya pikir itu indah