Z Google DeepMind jsem odešel po 8 letech. Tolik krásných vzpomínek – od raných základních prací v Google Brain (s @noamshazeer @ashvaswani @lukaszkaiser na Image Transformer, Tensor2Tensor, Mesh TensorFlow) až po vedení Gemini po tréninkových hodnoceních, aby to dohnali a uvedli na trh za 100 dní, poté vedli tým k přechodu na LMArena #1 (a zůstali tam více než rok!) a nakonec pracovali na neuvěřitelných inovacích uvažování pro zlaté medaile Gemini IMO a ICPC (w/ @HengTze @quocleix). Gemini byla divoká cesta od jednoho paradigmatu k druhému: za prvé, přepracování našeho modelu LaMDA (první chatbot podobný instrukcím!) ze skutečného chatbota na dlouhé obsahové odpovědi pomocí RLHF; poté uvažování a hluboké myšlení tréninkem v dlouhých myšlenkových řetězcích, nových prostředích a hlavách odměňování. Když jsme začínali, nálada veřejnosti byla špatná. Všichni si mysleli, že Google je odsouzen k neúspěchu kvůli svému dědictví vyhledávání a organizační politice. Nyní je Gemini trvale #1 v uživatelských preferencích a stojí v čele nových vědeckých úspěchů a všichni si myslí, že vítězství Googlu je zřejmé. 😂 (Bývalo také zvykem, že OpenAI přeskočila zpravodajský cyklus o umělé inteligenci tím, že před námi oznámila z nahromaděných nápadů pro každé nové vydání Google; s jistotou lze říci, že backlog je prázdný.) Od té doby jsem se připojil k xAI. Recept je známý. Výpočetní prostředky, data a O(100) skvělí, tvrdě pracující lidé jsou vše, co je potřeba k získání LLM na hraniční úrovni. xAI v to *opravdu* věří. Co se týče výpočtů, ani v Googlu jsem nikdy nezažil toto # čipů na hlavu (& 100K+ GB200/300K's přichází s Colossus 2). Pokud jde o data, Grok 4 udělal největší sázku na škálování RL a posttrénink. xAI sází na škálování dat, hluboké myšlení a tréninkový recept. A tým je rychlý. Žádná společnost se nedostala tam, kde je dnes xAI ve schopnostech umělé inteligence, za tak krátkou dobu. Jak říká @elonmusk, deriváty prvního a druhého řádu společnosti jsou nejdůležitější: zrychlení xAI je nejvyšší. S potěšením oznamuji, že v prvních několika týdnech jsme spustili Grok 4 Fast. Grok 4 je úžasný model uvažování, stále na špičce v ARC-AGI a nových benchmarkech jako FinSearchComp. Je však pomalý a nikdy nebyl skutečně zaměřen na obecné potřeby uživatelů. Grok 4 Fast je nejlepší model třídy mini – na LMAreně je #8 (Gemini 2.5 Flash je #18!) a na základních úvahách, jako je AIME, je na stejné úrovni jako Grok 4, i když je 15x levnější. S/o až @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_