-あなたは - LLM の仕組みに関する手がかりが 0 のランダムな CS 卒業生 - 大きな言葉と小さなGPUで人々のゲートキーピングにうんざりする - 完全なモンクモードにすることに決める - 2年後、パーティーで注意のメカニズムを説明し、台無しにすることができます - これが禁断の知識マップです - 上から下まで、LLM が「実際に」どのように機能するか - 最初から始める - トークン→テキスト - 埋め込み→トークン - これで、4D空間の浮動小数点数になります。 - それに応じて雰囲気を - 位置埋め込み: - 絶対: 「私はポジション 5 です」 - ロータリー (RoPE): 「私は正弦波です」 - アリバイ: 「私は嫌いな人のように距離で注意を縮める」 - 必要なのは注意だけです - セルフアテンション: 「誰に注意を払ってもいいの?」 - マルチヘッド: 「それを 8 回並行して実行したらどうなりますか?」 - QKV: クエリ、キー、値 - 暗号詐欺のように聞こえる - 事実上知能の核心 -トランスフォーマー： - あなたの意見を取り入れてください - 注意層を粉砕する...