為什麼你應該停止從事 RL 研究，轉而從事產品 // 開啟人工智慧大規模轉變的技術是互聯網，而不是變壓器 我認為眾所周知，數據是人工智慧中最重要的東西，而且研究人員無論如何都選擇不研究它。...處理資料 （以可擴展的方式） 是什麼意思？ 互聯網提供了豐富的豐富數據來源，這些數據是多樣化的，提供了自然的課程，代表了人們真正關心的能力，並且是一種經濟上可行的大規模部署技術——它成為下一個代幣預測的完美補充，也是人工智能起飛的原始湯。 如果沒有 Transformer，任何數量的方法都可以起飛，我們可能會擁有 GPT-4.5 級別的 CNN 或狀態空間模型。但自 GPT-4 以來，基礎模型並沒有顯著改進。推理模型在狹窄領域中表現出色，但不像 GPT-4 在 2023 年 3 月（兩年多前...... 我們在強化學習方面有一些很棒的東西，但我深擔心我們會重蹈覆轍（2015-2020 年 RL 時代），並進行無關緊要的 RL 研究。 就像互聯網是監督預訓練的對偶一樣，RL 的對偶性將導致像 GPT-1 > GPT-4 這樣的巨大進步是什麼？我認為這看起來像是研究-產品共同設計。