Trendaavat aiheet
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Lineaarinen skaalaus saavutettu useilla DeepSeek v3.1 -esiintymillä. 4x MAC = 4x suorituskyky.
2x M3 Ultra Mac -studiot = 1x DeepSeek @ 14 tok/s
4x M3 Ultra Mac Studios = 2x DeepSeek @ 28 tok/s
DeepSeek V3.1 on 671B-parametrimalli - joten alkuperäisellä 8-bittisellä kvantisoinnilla se vaatii ~700 Gt muistia mallin suorittamiseen. EXO sijoittaa puolet kerroksista kullekin laitteelle yhdistäen niiden muistin. EXO käyttää MLX:ää, joka on jaettu TB5-liitännällä, joka on optimoitu Apple Siliconille.
Jos tarvitsemme suurempaa suorituskykyä, kahden laitteen lisääminen antaa meille mahdollisuuden palvella useampia käyttäjiä kerralla. @exolabs hoitaa kaiken tämän saumattomasti - lisäämällä klusteriin lisää laitteita lineaarista skaalausta varten tarpeen mukaan.
Uusi EXO 1.0 on pian avoimen lähdekoodinTM
87,82K
Johtavat
Rankkaus
Suosikit