Ventura Labs Эпизод 50 - Стеффен Круз и Феликс Квинке Феликс Квинке, руководитель отдела искусственного интеллекта, и Штеффен Круз (@macrocrux), технический директор и соучредитель Macrocosmos (@MacrocosmosAI) Временные метки: 1:24 – Введение 2:12 – Переход подсети 9 на IOTA 2:47 – Проблема: обучение большой языковой модели 4:51 – Обзор групп слоев 5:02 – Определение слоя в LLM 6:07 – Секционирование слоев и наборов данных 7:21 – Распределение данных среди майнеров 10:08 – Введение в конвейерный параллелизм 11:18 – Оркестратор: планирование и координация 15:44 – Валидация: теневой аудит 19:39 – Будущее процесса валидации 24:51 – Важность сжатия активации 31:30 – Объяснение Butterfly All-Reduce 36:43 – Самые гордые достижения подсети 9 39:33 – Определение успеха для подсети IOTA 46:21 – Советы для команд, играющих от нуля до одного 52:16 – Заключение и благодарность