OK, am nevoie de ajutor! a încercat să regleze GPT-OSS în weekend. funcționează timp de ~100 de pași, apoi aruncă o eroare CUDA fără memorie Bănuiesc că din când în când, toate jetoanele sunt direcționate către un singur expert. apoi antrenamentul se prăbușește. Există o soluție ușoară? nu a mai reglat niciodată un MoE înainte

Ce model ar trebui să facem în continuare?

Curios despre datele de antrenament ale noilor modele gpt-oss de la OpenAI? Și eu am fost. așa că am generat 10 milioane de exemple din gpt-oss-20b, am făcut niște analize și rezultatele au fost... destul de bizar E timpul pentru o scufundare 🧵 profundă

cea mai scurtă explicație a GPT-5: este exact ceea ce au prezis legile de scalare! modelul este mai bun, randamentele sunt în scădere și, din păcate, îmbunătățirile absolute ale inteligenței generale vor deveni mai mici Vestea bună este că mai sunt atât de multe de făcut. Personalitatea, raționamentul, memoria și creativitatea sunt încă probleme deschise

este un moment bun pentru a reaminti tuturor că un scor mare pe SWEbench indică doar că datele de antrenament conțineau o proporție suficient de mare de Django

cea mai impresionantă parte a GPT-5 este saltul în context lung Cum faci asta? să producă niște date sintetice ciudate pe termen lung? scanează o mulțime de cărți?

lumea VC oferă multă valoare, dar uneori se simte ca și cum ar fi dat foc banilor. mai multe startup-uri pe care le cunosc au strâns ~100 de milioane în total în urmă cu trei ani pentru a face AI, au construit software pe care nimeni nu l-a folosit vreodată, iar acum toate lucrează în altă parte pe lucruri fără legătură. Unde s-au dus toți banii ăștia?

ciudat în era rețelelor sociale să simți că toată lumea lucrează la recenzii și respingeri NeurIPS rn, dar nimeni nu vorbește despre asta în public. Am contribuit la trei respingeri. Una dintre cele trei a fost extrem de frustrantă. Cine altcineva lucrează la respingeri? Cum merge pentru tine?

Sam Altman vrea să construiască un model care este evaluat 3200 pe Codeforces, dar nu are idee cine este Sam Altman Și cred că este frumos

Am petrecut ultimele două ore vorbind cu GPT-OSS și pot spune cu siguranță că nu seamănă cu niciun model pe care l-am testat Într-o secundă este codificare pentru mine la nivel profesional, în următoarea inventează fapte de bază și mă agăț de ele, indiferent de ceea ce spun Se întâmplă ceva foarte ciudat