Важливо переконатися, що ваша бібліотека може використовуватися LLM. Той LLM-кодований flash attention у tinygrad перевершує AOTriton у PyTorch на моєму AMD Strix Halo.
harshbajpai
harshbajpai14 годин тому
Ха-ха, geohot позначає PR рядком "ai slop" XD
І це не близько. Це в 1,8 рази швидше. Це за допомогою tinygrad DSL. Заміною BEAM стане LLM.
73