Lineær skalering oppnådd med flere DeepSeek v3.1-forekomster. 4x Mac-er = 4x gjennomstrømning. 2x M3 Ultra Mac Studios = 1x DeepSeek @ 14 tok/sek 4x M3 Ultra Mac Studios = 2x DeepSeek @ 28 tok/sek DeepSeek V3.1 er en 671B-parametermodell - så ved sin opprinnelige 8-bits kvantisering krever den ~700 GB minne for å kjøre modellen. EXO legger halvparten av lagene på hver enhet, og kombinerer minnet deres. EXO bruker MLX distribuert med TB5-sammenkobling, optimalisert for Apple Silicon. Hvis vi trenger høyere gjennomstrømning, kan vi legge til to enheter til å betjene flere brukere samtidig. @exolabs håndterer alt dette sømløst - og legger til flere enheter i klyngen for lineær skalering etter hvert som vi trenger det. Den nye EXO 1.0 vil snart være åpen kildekodeTM

DeepSeek-V3.1-4bit kjører med MLX på M3 Ultra 512GB med 21 tok/sek! 🔥 Bruker bare 380 GB! 👀 <tenk> eller </tenke> det er spørsmålet.

Har du en Mac med M-brikke? Du kan nå trene Gemma3 270m lokalt som en flerspråklig innbyggings- eller reranker-modell ved hjelp av vårt mlx-henteprosjekt. Den lar deg trene Gemma3 270m lokalt med 4000 tokens/s på M3 Ultra - det er faktisk brukbar hastighet. Vi har implementert noen standardpraksiser for opplæring av en effektiv innebygging eller rerangeringsmodell med kun dekoder med MLX: full/delvis LoRA, InfoNCE, gradientakkumulering og strømming av datainnlaster. Pluss MTEB-integrasjon for togevalueringssløyfer.

mlx-vlm v0.3.3 er her gr Nye modeller: - @LiquidAI_ LFM2-VL - @Zai_org GLM-4.5V - @cohere Command-A-Vision Endringer: - Ny kjerne for grid_sample - Fiks bikubisk interpolert kjernekompatibilitet med macOS < 15 - Fiks konfigurasjonsarv Tusen takk til alle de fantastiske vennene på @lmstudio: @ostensiblyneil, @mattjcly og christian-lms. Kom i gang: > pip install -U mlx-vlm Vennligst legg igjen en stjerne:

MLX-Audio v0.2.4 er her 🔥🚀 Nye modeller: - IndeksTTS - Voxtral Endringer: # Python - Støtte for flere modeller for Visualizer - Korriger avskrevet lagring i MLX-LM - Fiks mimi-kodek - Oppdater CSM-lasting for TFMS-stil # Rask - Bruk egendefinert URL for Kokoro - Veiledning for feilsøking - Legg til Misaki G2P-tokenizer for Kokoro Tusen takk til alle de fantastiske bidragsyterne: @lllucas, @ivanfioravanti, @adrgrondin, Senstella, Sam og Kinkadius! Kom i gang: > pip install -U mlx-audio Vennligst legg igjen en stjerne ⭐ :

Gemma 3 270M (8-bit) er også rask på iPhone 16 Pro 🏎️ ~140 tk/s for A18 Pro-brikken med MLX, ikke så langt fra M3-brikken Selv om Gemma 3 270M ikke er ment for chat, er den perfekt å brukes med Apple Shortcuts på oppgaver som for eksempel oppsummering

Kult nytt MLX-prosjekt: MLX-kniv: et ollama-lignende CLI-verktøy for MLX-modeller på HuggingFace (trekk, rm, liste, vise, servere, ...)

Trening i stor høyde gjør LLM sterkere

Hvem prøver ikke å trene en klassifiserer med MLX og Gemma 3 270m i luften?

I 44 linjer med kode har vi en faktisk nyttig agent som kjører helt lokalt, drevet av Qwen3 30B A3B Instruct