Hôm nay đánh dấu một thành tựu lớn đối với Nous, nhưng cũng có thể là đối với toàn cảnh AI. Chúng tôi đã bắt đầu một quá trình tiền huấn luyện phi tập trung của một mô hình cơ bản là Deepseek dày đặc - 40 tỷ tham số, hơn 20 nghìn tỷ token, với MLA để tăng hiệu quả ngữ cảnh dài. Tất cả các điểm kiểm tra, chưa được điều chỉnh, đã được điều chỉnh, bộ dữ liệu, mọi thứ sẽ được mở nguồn trực tiếp khi quá trình huấn luyện diễn ra. Hãy xem blog mà đội Psyche dẫn đầu bởi @DillonRolnick, @theemozilla và Ari đã viết trong tweet trích dẫn để tìm hiểu *rất nhiều* về cơ sở hạ tầng.