RL研究に取り組むのをやめて、代わりに製品に取り組むべき理由 // AI の大きなスケーリング シフトを解き放ったテクノロジーは、トランスフォーマーではなくインターネットです AIにおいてデータが一番重要であること、そして研究者がいずれにせよAIに取り組まないことを選択することはよく知られていると思います。...データで(スケーラブルな方法で)作業するとはどういう意味ですか? インターネットは、多様性に富み、自然なカリキュラムを提供し、人々が実際に関心を持っている能力を表し、大規模に展開できる経済的に実行可能なテクノロジーである豊富なデータの豊富なソースを提供し、ネクストトークン予測を完璧に補完し、AIが離陸するための原始的なスープでした。 トランスフォーマーがなければ、いくらでもアプローチが普及し、おそらく GPT-4.5 レベルの CNN や状態空間モデルを手に入れることができたでしょう。しかし、GPT-4 以降、ベース モデルに劇的な改善は見られていません。推論モデルは狭い領域では優れていますが、2023 年 3 月の GPT-4 ほど大きな飛躍ではありません (2 年以上前...) 強化学習には素晴らしいものがありますが、私の深い恐怖は、過去の過ち(2015-2020年のRL)を繰り返して、関係ないRL研究をすることです。 インターネットが教師あり事前トレーニングの二重であるように、GPT-1 > GPT-4 のような大きな進歩につながる RL の二重は何でしょうか?研究と製品の共同設計のように見えると思います。