Ik heb eindelijk de tijd genomen om een tool te maken om de resultaten van SFT versus RLHF getrainde modellen te vergelijken. Dit is een mini-site voor het RLHF-boek dat ik al een tijdje wilde. rlhfbook dot com slash library Het is altijd moeilijk geweest om te zeggen wat RLHF met een model doet binnen een complexere post-training pipeline. De verschillen zijn subtiel, naast de voor de hand liggende toevoeging van betere markdown-opmaak. Dit subtiele deel is een beetje beter schrijven, een beetje betere inhoudsstructuur, en vaak meer kleur in de proza. Vandaag de dag zijn er nog steeds zeer weinig modellen, anders dan die we de afgelopen jaren bij Ai2 hebben gebouwd, die dit kunnen doen (dank aan @huggingface voor het vrijgeven van meer tussenliggende checkpoints). Ik heb 3 resultaten per 16 prompts over 18 modellen (9 paren van SFT <-> RLHF-modellen) gegenereerd om het voor en na te laten zien. Dit is hopelijk een geweldige bron voor academici en mensen die leren om een basisgevoel te krijgen voor hoe verschillende trainingstechnieken het model daadwerkelijk veranderen. Ik ben blij om dit verder uit te bouwen naarmate er feedback binnenkomt! Gegevens zijn vrijgegeven en permissief gelicentieerd (behalve het feit dat sommige Tulu-resultaten de Llama-licentie hebben).