Opuściłem Google DeepMind po 8 latach. Tak wiele miłych wspomnień — od wczesnych podstawowych prac w Google Brain (z @noamshazeer @ashvaswani @lukaszkaiser nad Image Transformer, Tensor2Tensor, Mesh TensorFlow) do prowadzenia ewaluacji po treningu Gemini, aby nadrobić zaległości i uruchomić w 100 dni, a następnie prowadzenia zespołu do skoku na LMArena #1 (i pozostania tam przez ponad rok!), a na koniec pracy nad niesamowitymi innowacjami w zakresie rozumowania dla złotych medali IMO i ICPC Gemini (z @HengTze @quocleix). Gemini to była dzika podróż od jednego paradygmatu do drugiego: najpierw, przekształcenie naszego modelu LaMDA (pierwszego czatu podobnego do instrukcji!) z rzeczywistego czatu do długich, treściwych odpowiedzi z RLHF; następnie, rozumowanie i głębokie myślenie poprzez trening na długich łańcuchach myślowych, nowatorskich środowiskach i głowach nagród. Kiedy zaczynaliśmy, publiczne nastawienie było złe. Wszyscy myśleli, że Google jest skazany na porażkę z powodu swojego dziedzictwa wyszukiwania i polityki organizacyjnej. Teraz Gemini jest konsekwentnie #1 w preferencjach użytkowników i przewodzi nowym osiągnięciom naukowym, a wszyscy myślą, że zwycięstwo Google jest oczywiste. 😂 (Kiedyś OpenAI przeskakiwało cykl wiadomości AI, ogłaszając przed nami z zaległości pomysłów na każdą nową wersję Google; można bezpiecznie powiedzieć, że ta zaległość jest pusta.) Od tego czasu dołączyłem do xAI. Przepis jest dobrze znany. Obliczenia, dane i O(100) genialnych, ciężko pracujących ludzi to wszystko, co potrzebne, aby uzyskać model LLM na poziomie granicznym. xAI *naprawdę* w to wierzy. Jeśli chodzi o obliczenia, nawet w Google nigdy nie doświadczyłem takiej liczby chipów na osobę (a 100K+ GB200/300K już nadchodzi z Colossus 2). Jeśli chodzi o dane, Grok 4 postawił największy zakład na skalowanie RL i po treningu. xAI podejmuje nowe zakłady na skalowanie danych, głębokiego myślenia i przepisu na trening. A zespół jest szybki. Żadna firma nie osiągnęła tego, gdzie xAI jest dzisiaj w możliwościach AI w tak krótkim czasie. Jak mówi @elonmusk, pierwsze i drugie pochodne firmy są najważniejsze: przyspieszenie xAI jest najwyższe. Cieszę się, że mogę ogłosić, że w moich pierwszych tygodniach uruchomiliśmy Grok 4 Fast. Grok 4 to niesamowity model rozumowania, nadal najlepszy na ARC-AGI i nowych benchmarkach, takich jak FinSearchComp. Ale jest wolny i nigdy nie był naprawdę ukierunkowany na potrzeby ogólnego użytkownika. Grok 4 Fast to najlepszy model mini-klasy — na LMArena jest #8 (Gemini 2.5 Flash jest #18!), a w podstawowych ewaluacjach rozumowania, takich jak AIME, jest na równi z Grok 4, podczas gdy jest 15 razy tańszy. S/o dla @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_