Vandaag is een heel grote prestatie voor Nous, maar mogelijk ook voor het AI-landschap. We zijn begonnen met een gedecentraliseerde pretraining-run van wat in feite een dichte Deepseek is - 40B-parameters, meer dan 20T-tokens, met MLA voor efficiëntie in de lange context. Alle controlepunten, ongegloeid, gegloeid, de dataset, alles wordt live opensource naarmate de training vordert. Bekijk de blog die het Psyche-team leidt @DillonRolnick, schreven @theemozilla en Ari in de citaat-tweet om *veel* meer te weten te komen over de infrastructuur.