- olet - satunnainen CS-tutkinto, jolla on 0 aavistustakaan siitä, miten LLM:t toimivat - kyllästyä ihmisten portinvartijaan suurilla sanoilla ja pienillä GPU:illa - Päätä siirtyä täyteen munkkitilaan - 2 vuotta myöhemmin osaan selittää tarkkaavaisuusmekanismeja juhlissa ja pilata ne - Tässä on Kielletyn tiedon kartta - ylhäältä alas, miten LLM:t *oikeasti* toimivat - Aloita alusta - teksti → tunnukset - Tokenit → upotukset - olet nyt liukuluku 4D-avaruudessa - Tunnelma vastaavasti - Sijaintiin liittyvät upotukset: - Absoluuttinen: "Olen asema 5" - rotaatio (RoPE): "olen siniaalto" - Alibi: "Skaalaan huomion etäisyyden mukaan kuin vihaaja" - Huomio on kaikki mitä tarvitset - Itsehuomio: "Keneen saan kiinnittää huomiota?" - Multihead: "Entä jos tekisin sen 8 kertaa rinnakkain?" - QKV: kysely, avain, arvo - kuulostaa kryptohuijaukselta - itse asiassa älykkyyden ydin -Transformers: - Ota panoksesi - murskaa ne huomiokerrosten läpi...