- sei - un laureato in CS a caso senza alcuna idea di come funzionano gli LLM - ti stanchi delle persone che fanno gatekeeping con parole difficili e GPU piccole - decidi di andare in modalità monaco - 2 anni dopo posso spiegare i meccanismi di attenzione alle feste e rovinarle - ecco la mappa della conoscenza proibita - dall'alto verso il basso, come funzionano *davvero* gli LLM - inizia dall'inizio - testo → token - token → embedding - ora sei un numero in virgola mobile nello spazio 4D - comportati di conseguenza - embedding posizionali: - assoluto: “io sono la posizione 5” - rotativo (RoPE): “io sono un'onda sinusoidale” - alibi: “scalo l'attenzione in base alla distanza come un hater” - l'attenzione è tutto ciò di cui hai bisogno - auto-attenzione: “a chi posso prestare attenzione?” - multihead: “e se lo facessi 8 volte in parallelo?” - QKV: query, key, value - sembra una truffa crypto - in realtà è il nucleo dell'intelligenza - trasformatori: - prendi i tuoi input - schiacciali attraverso i livelli di attenzione...