- du er - en tilfeldig CS-grad med 0 anelse om hvordan LLM-er fungerer - bli lei av folk portvakt med store ord og små GPUer - Bestem deg for å gå i full munkemodus - 2 år senere kan jeg forklare oppmerksomhetsmekanismer på fester og ødelegge dem - Her er det forbudte kunnskapskartet - fra topp til bunn, hvordan LLM-er *faktisk* fungerer - Start med begynnelsen - tekst → tokens - tokens → innbygginger - du er nå et flyttall i 4D-rom - Vibe deretter - Posisjonelle innbygginger: - Absolutt: «Jeg er posisjon 5» - roterende (RoPE): "jeg er en sinusbølge" - Alibi: «Jeg skalerer oppmerksomheten etter avstand som en hater» - Oppmerksomhet er alt du trenger - Selvoppmerksomhet: "Hvem har jeg lov til å ta hensyn til?" - Multihead: "Hva om jeg gjør det 8 ganger parallelt?" - QKV: spørring, nøkkel, verdi - Høres ut som en kryptosvindel - faktisk kjernen i intelligens -Transformers: - ta imot dine innspill - knuse dem gjennom oppmerksomhetslag...