Сегодня знаменует собой действительно большое достижение для Nous, а также потенциально для ландшафта ИИ. Мы начали децентрализованный запуск предварительного обучения, который по сути является плотным Deepseek - 40 миллиардов параметров, более 20 триллионов токенов, с MLA для эффективности в длинном контексте. Все контрольные точки, неаннелированные, аннелированные, набор данных, все будет открыто в реальном времени по мере продолжения обучения. Посмотрите блог, который написали лидеры команды Psyche @DillonRolnick, @theemozilla и Ари в цитируемом твите, чтобы узнать *много* больше об инфраструктуре.