Se pare că OpenAI a folosit YaRN al lui Nous și scalarea frânghiei lui kaiokendev pentru extinderea lungimii contextului tot timpul - desigur, niciodată niciun credit, dar... Oricine spune că "open source doar fură din cercetarea lor "reală" și călătorește pe umerii lor" se înșeală complet L-am sunat când au lansat un context extins de 128k pe gpt4 la doar câteva săptămâni după ce Nous a lansat yarn lol pentru context pe fire; Deepseek și Qwen îl folosesc și ei; Hârtie: