熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣，引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
Nathan Lambert
弄清楚 AI @allen_ai、開放模型、RLHF、微調等
通過電子郵件聯繫。
寫入 @interconnectsai
撰寫了 RLHF 書
山地跑步者
隨著時間的推移，編碼只會變得更加異步。
這一變化將比人們預期的更快發生，但產品代碼的挑戰非常高，我們離自動化還很遠。
光標代理是最糟糕的代理，但光標無疑是最好的IDE，因此今天它贏了。
4 小時前
在 Claude Code、Codex 和 Cursor 之間，顯然有一個贏家 - Cursor。
IDE 的正確使用方式就是.. 編碼的正確方式。更不用說它對任何模型的支持（包括 Opus，而不知為何 CC 不支持？哈哈），還有它提供的檢查點支持，這在 CLI 工具中都沒有，使得在 AI 不可避免地破壞你的代碼庫時，輕鬆恢復。Cursor 最大的挫折在於延遲，以及他們的代理框架在每次更改後告訴 Claude 測試代碼，這在我的環境支持的情況下會很好，但實際上並不支持。
其次是 Claude Code，因為它就是能正常工作，即使不是理想的，你也不需要理解太多就能讓它按預期運行。它的編碼效果不錯。
最後是 Codex，可能比 Sonnet 有更好的模型，但到目前為止開發得太少。
CLI 完全自主的代理根本不是編碼的方式。Cursor 讓我以比 CC 更乾淨、更快的方式檢查和處理每個更改，而 Codex 在 JetBrains 中沒有插件，這就是我嘗試在其中檢查編輯的原因，如果我想在 CLI 中這樣做，還需要無盡的批准。
50
我終於抽出時間製作了一個工具，用於比較 SFT 和 RLHF 訓練模型的完成情況。這是我一直想要的 RLHF 書籍的迷你網站。
rlhfbook dot com slash library
在更複雜的後期訓練流程中，很難說 RLHF 對模型的影響。除了明顯的更好的 markdown 格式外，差異是微妙的。這種微妙之處在於寫作稍微更好，內容結構稍微更好，通常在文筆中也更有色彩。
直到今天，除了我們在 Ai2 最近幾年構建的模型外，幾乎沒有其他模型能夠做到這一點（感謝 @huggingface 發佈更多中間檢查點）。我生成了每 16 個提示 3 個完成，跨 18 個模型（9 對 SFT <-> RLHF 模型），以展示前後的對比。
這希望能成為學術界和學習者的一個很好的資源，讓他們對不同訓練技術如何實際改變模型有一個基本的瞭解。隨著反饋的到來，我很高興能進一步擴展這個項目！
數據已發佈並獲得寬鬆許可（除了某些 Tulu 完成具有 Llama 許可證的事實）。
452
熱門
排行
收藏