Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Lineární škálování dosažené s více instancemi DeepSeek v3.1. 4× počítač Mac = 4× propustnost.
2x M3 Ultra Mac Studios = 1x DeepSeek @ 14 tok/sec
4x M3 Ultra Mac Studios = 2x DeepSeek @ 28 tok/sec
DeepSeek V3.1 je model s parametry 671B - takže při nativní 8bitové kvantizaci vyžaduje ke spuštění modelu ~700 GB paměti. EXO umístí polovinu vrstev na každé zařízení a spojí jejich paměť. EXO používá MLX distribuovaný s propojením TB5, optimalizovaný pro Apple Silicon.
Pokud potřebujeme vyšší propustnost, přidáním dalších dvou zařízení můžeme obsloužit více uživatelů najednou. @exolabs to vše zvládá bez problémů - přidává do clusteru další zařízení pro lineární škálování podle potřeby.
Nový EXO 1.0 bude brzy open-sourceTM
87,8K
Top
Hodnocení
Oblíbené