- jste - náhodný absolvent CS s 0 ponětí o tom, jak LLM fungují - Už vás nebaví hlídat lidi velkými slovy a malými GPU - Rozhodněte se přejít do plného mnišského režimu - O 2 roky později dokážu vysvětlit mechanismy pozornosti na večírcích a zničit je - Zde je mapa zakázaných znalostí - shora dolů, jak LLM *vlastně* fungují - začněte od začátku - textové → tokeny - Tokeny → vkládání - nyní jste číslo s plovoucí desetinnou čárkou v prostoru 4D - odpovídajícím způsobem vibrovat - poziční vnoření: - absolutní: "Jsem pozice 5" - rotační (RoPE): "jsem sinusovka" - alibi: "Škáluji pozornost na dálku jako nenávistník" - stačí věnovat pozornost - Sebepozornost: "Komu smím věnovat pozornost?" - Multihead: "Co když to udělám 8krát paralelně?" - QKV: dotaz, klíč, hodnota - Zní to jako kryptografický podvod - vlastně jádro inteligence -Transformátory: - přijímat vaše vstupy - prorazit je vrstvami pozornosti...