Kütüphanenizin LLM'ler tarafından kullanılabileceğini doğrulamak önemlidir. Tinygrad'daki o LLM kodlu flash dikkat, AMD Strix Halo'mda PyTorch'taki AOTriton'dan daha iyi performans gösteriyor.
harshbajpai
harshbajpai23 Mar 16:29
Haha, geohot PR'ları "ai slop" çizgisiyle etiketliyor XD
Ve yakın değil. 1,8 kat daha hızlı. Bu tinygrad DSL kullanıyor. BEAM'in yerine LLM geçecek.
215