Har du en Mac med ett M-chip? Du kan nu träna Gemma3 270m lokalt som en flerspråkig inbäddnings- eller omrankningsmodell med hjälp av vårt mlx-retrieval-projekt. Det låter dig träna Gemma3 270m lokalt med 4000 tokens/s på M3 Ultra - det är faktiskt användbar hastighet. Vi har implementerat några standardmetoder för att träna en effektiv inbäddnings- eller omrankningsmodell med endast avkodare med MLX: fullständig/partiell LoRA, InfoNCE, gradientackumulering och strömmande datainläsare. Plus MTEB-integration för tågutvärderingsloopar.