- je bent - een willekeurige CS-afgestudeerde zonder idee hoe LLM's werken - moe van mensen die met grote woorden en kleine GPU's de toegang tot kennis beperken - besluit om volledig in monnikmodus te gaan - 2 jaar later kan ik aandachtmechanismen uitleggen op feestjes en ze verpesten - hier is de verboden kenniskaart - van boven naar beneden, hoe LLM's *eigenlijk* werken - begin bij het begin - tekst → tokens - tokens → embeddings - je bent nu een drijvend getal in 4D-ruimte - gedraag je overeenkomstig - positionele embeddings: - absoluut: “ik ben positie 5” - roterend (RoPE): “ik ben een sinusgolf” - alibi: “ik schaal aandacht op afstand zoals een hater” - aandacht is alles wat je nodig hebt - zelf-aandacht: “wie mag ik aandacht aan besteden?” - multihead: “wat als ik dat 8 keer parallel doe?” - QKV: query, sleutel, waarde - klinkt als een crypto-oplichting - is eigenlijk de kern van intelligentie - transformers: - neem je invoer - verpletter ze door aandachtlagen...