Dobře, potřebuji pomoc! O víkendu jsem se pokusil doladit GPT-OSS. funguje pro ~100 kroků, pak vyvolá chybu CUDA z nedostatku paměti Můj odhad je, že jednou za čas jsou všechny tokeny směrovány k jedinému expertovi. Pak trénink spadne. Existuje snadné řešení? nikdy předtím jsem žádné MoE nevyladil

Který model bychom měli udělat příště?

Zajímají vás trénovací data nových modelů GPT-OSS od OpenAI? Já jsem byl také. tak jsem vygeneroval 10M příkladů z gpt-oss-20b, provedl nějakou analýzu a výsledky byly... Docela bizarní Je čas na hluboký ponor 🧵

nejkratší vysvětlení GPT-5: přesně to předpovídaly zákony škálování! Model je lepší, výnosy klesají a bohužel absolutní zlepšení obecné inteligence se bude jen zmenšovat Dobrou zprávou je, že je toho ještě tolik co dělat. Osobnost, uvažování, paměť a kreativita jsou stále otevřené problémy

je na čase připomenout, že vysoké skóre na SWEbench opravdu jen indikuje, že tréninková data obsahovala dostatečně velký podíl Djanga

nejpůsobivější částí GPT-5 je skok v dlouhodobém kontextu Jak to vůbec děláte? produkují nějaká podivná syntetická data s dlouhým dosahem? skenovat spoustu knih?

svět VC poskytuje velkou hodnotu, ale někdy to vypadá, jako by právě zapálili peníze. několik startupů, které znám, získalo před třemi lety celkem ~100 milionů na výrobu AI, vytvořilo software, který nikdo nikdy nepoužil, a nyní všechny pracují jinde na nesouvisejících věcech. Kam se poděly všechny ty peníze?

V éře sociálních médií je divné cítit, že všichni pracují na recenzích a protiargumentech NeurIPS, ale nikdo o tom veřejně nemluví. Přispěl jsem ke třem protiargumentům. Jeden z těchto tří byl extrémně frustrující. Kdo další pracuje na vyvracení? Jak se daří vám?

Sam Altman chce vytvořit model, který má v CodeForces hodnocení 3200, ale nemá tušení, kdo je Sam Altman A myslím, že je to krásné

Strávil jsem posledních pár hodin rozhovorem s GPT-OSS a mohu s jistotou říci, že se nepodobá žádnému modelu, který jsem testoval V jednu chvíli je to pro mě programování na profesionální úrovni, v další je to vymýšlení si základních faktů a lpění na nich, ať říkám, co říkám děje se něco velmi podivného