Świeżutki artykuł: Iluzja malejących zwrotów: Mierzenie długoterminowej egzekucji w LLM-ach. Czy małe modele to przyszłość agentowego AI? Czy skalowanie obliczeń LLM nie jest warte kosztów z powodu malejących zwrotów? Czy autoregresywne LLM-y są skazane na porażkę, a myślenie to iluzja? Negatywne scenariusze dla skalowania LLM-ów są wszystkie związane z jedną zdolnością: Długoterminową Egzekucją. Jednak to właśnie dlatego powinieneś być optymistyczny co do skalowania rozmiaru modelu i obliczeń w czasie testu! > Po pierwsze, pamiętasz wykres METR? Może być wyjaśniony przez model @ylecun dotyczący kumulujących się błędów > długość horyzontu modelu rośnie super-ekspotencjalnie (@DaveShapi) w dokładności pojedynczego kroku. > Wniosek 1: Nie daj się zwieść spowolnionemu postępowi w typowych benchmarkach krótkoterminowych > to wystarczy do eksponencjalnego wzrostu długości horyzontu. Ale idziemy dalej niż model @ylecun, testując LLM-y empirycznie... > Sama egzekucja jest również trudna dla LLM-ów, nawet gdy dostarczysz im potrzebny plan i wiedzę. > Nie powinniśmy mylić niepowodzeń w egzekucji z brakiem zdolności do "rozumowania". > Nawet gdy mały model ma 100% dokładności w pojedynczym kroku, większe modele mogą wykonać znacznie więcej ruchów powyżej progu sukcesu. > Zauważyłeś, jak twój agent radzi sobie gorzej, gdy zadanie staje się dłuższe? To nie tylko ograniczenia długiego kontekstu.. > Obserwujemy: Efekt Samo-Conditioning! > Gdy modele widzą błędy, które popełniły wcześniej w swojej historii, stają się bardziej skłonne do popełniania błędów w przyszłych ruchach. > Zwiększenie rozmiaru modelu pogarsza ten problem - rzadki przypadek odwrotnej skali! A co z myśleniem...? > Myślenie nie jest iluzją. To silnik egzekucji! > Gdzie nawet DeepSeek v3, Kimi K2 nie potrafią wykonać nawet 5 ruchów latentnie, gdy są proszone o egzekucję bez CoT... > Z CoT mogą zrobić 10 razy więcej. A co z granicą? > Myślenie GPT-5 jest znacznie lepsze od wszystkich innych modeli, które testowaliśmy. Może wykonać zadania o długości 1000+ kroków za jednym razem. > Na drugim miejscu z 432 krokami jest Claude 4 Sonnet... a potem Grok-4 z 384 > Gemini 2.5 Pro i DeepSeek R1 znacznie odstają, mając tylko 120. > Czy to dlatego GPT-5 nosił kodową nazwę Horyzont? 🤔 > Open-source ma jeszcze długą ;) drogę do przebycia! > Rozwijajmy to razem! Udostępniamy cały kod i dane. Zrobiliśmy długą, głęboką analizę i przedstawiamy najlepsze wnioski z niesamowitymi wykresami poniżej 👇