Я покинул Google DeepMind после 8 лет. Так много приятных воспоминаний — от ранних основополагающих статей в Google Brain (с @noamshazeer @ashvaswani @lukaszkaiser по Image Transformer, Tensor2Tensor, Mesh TensorFlow) до руководства оценками постобучения Gemini, чтобы успеть и запуститься за 100 дней, затем ведение команды, чтобы перепрыгнуть на LMArena #1 (и оставаться там более года!), и, наконец, работа над невероятными инновациями в области рассуждений для золотых медалей Gemini на IMO и ICPC (с @HengTze @quocleix). Gemini был диким путешествием от одной парадигмы к другой: сначала, обновление нашей модели LaMDA (первый чат-бот, похожий на инструкцию!) от настоящего чат-бота до длинных содержательных ответов с RLHF; затем, рассуждения и глубокое мышление, обучаясь по длинным цепочкам размышлений, новым средам и головам вознаграждений. Когда мы только начали, общественное мнение было плохим. Все думали, что Google обречен на провал из-за своего наследия поиска и организационной политики. Теперь Gemini постоянно занимает 1-е место в предпочтениях пользователей и возглавляет новые научные достижения, и все думают, что победа Google очевидна. 😂 (Раньше также было так, что OpenAI обгонял новостной цикл ИИ, объявляя до нас из запаса идей для каждого нового релиза Google; можно с уверенностью сказать, что этот запас пуст.) С тех пор я присоединился к xAI. Рецепт хорошо известен. Вычисления, данные и O(100) блестящих, трудолюбивых людей — все, что нужно для получения LLM на уровне передовых технологий. xAI *действительно* верит в это. Что касается вычислений, даже в Google я никогда не испытывал такого количества чипов на душу населения (и 100K+ GB200/300K уже в пути с Colossus 2). Что касается данных, Grok 4 сделал крупнейшую ставку на масштабирование RL и постобучение. xAI делает новые ставки на масштабирование данных, глубокое мышление и рецепт обучения. И команда быстрая. Ни одна компания не достигла того, где xAI находится сегодня в возможностях ИИ за такое короткое время. Как говорит @elonmusk, первые и вторые производные компании — самые важные: ускорение xAI самое высокое. Я рад сообщить, что за свои первые несколько недель мы запустили Grok 4 Fast. Grok 4 — это удивительная модель рассуждений, все еще лучшая на ARC-AGI и новых бенчмарках, таких как FinSearchComp. Но она медленная и никогда не была нацелена на потребности общего пользователя. Grok 4 Fast — это лучшая мини-классовая модель — на LMArena она занимает 8-е место (Gemini 2.5 Flash на 18-м!), а на основных оценках рассуждений, таких как AIME, она на уровне с Grok 4 при этом в 15 раз дешевле. S/o @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_