私は 8 年ぶりに Google DeepMind を辞めました。Google Brain の初期の基礎論文 (Image Transformer、Tensor2Tensor、Mesh TensorFlow に関する@noamshazeer @ashvaswani @lukaszkaiser付き) から、Gemini のトレーニング後の評価を 100 日で追いつき、開始し、チームを LMArena #1 に飛躍させ (そして 1 年以上そこにとどまりました!)、そして最後に Gemini の IMO と ICPC の金メダル (@HengTze @quocleix を使用) のための驚くべき推論の革新に取り組むまで、たくさんの楽しい思い出があります。 Gemini は、あるパラダイムから別のパラダイムへのワイルドな旅でした: まず、LaMDA モデル (最初の命令のようなチャットボット!) を実際のチャットボットから、RLHF による長いコンテンツに満ちた応答に刷新しました。次に、長い思考チェーン、新しい環境、そして報酬の頭を訓練することにより、推論と深い思考を行います。私たちが始めたばかりの頃は、世心が悪かったです。誰もが、Googleは検索の遺産と組織政治のために失敗する運命にあると考えていました。現在、Gemini はユーザーの好みで一貫して #1 であり、新しい科学的成果の先頭に立っており、誰もが Google の勝利は明らかだと考えています。😂 (また、OpenAI は、Google の新しいリリースごとにアイデアのバックログから私たちの前に発表することで、AI ニュースサイクルを飛び越えていましたが、バックログは空であると言っても過言ではありません。 その後、xAIに入社しました。レシピはよく知られています。コンピューティング、データ、そして O(100) の優秀で勤勉な人材があれば、フロンティア レベルの LLM を取得することができます。xAI はこれを「本当に」信じています。コンピューティングに関しては、Googleでも、一人当たりのチップのこの#を経験したことはありません(&100K + GB200 / 300KがColossus 2で提供されています)。データについては、Grok 4 が RL とポストトレーニングのスケーリングに最大の賭けをしました。xAI は、データ、深い思考、トレーニングのレシピを拡張するために新たな賭けをしています。そしてチームは速いです。xAIがAI機能において今日の地位に到達した企業は、短期間ではありません。@elonmuskが言うように、企業の一次および二次デリバティブが最も重要であり、xAIの加速が最も高いです。 最初の数週間で、Grok 4 Fast をリリースしたことを発表できることを嬉しく思います。Grok 4 は素晴らしい推論モデルであり、ARC-AGI や FinSearchComp などの新しいベンチマークで依然としてトップです。しかし、それは遅く、汎用ユーザーのニーズを実際にターゲットにしたことはありませんでした。Grok 4 Fast は最高のミニクラス モデルであり、LMArena では #8 (Gemini 2.5 Flash は #18!)、AIME などのコア推論評価では Grok 4 と同等でありながら 15 倍安いです。S/Oから@LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_へ