Formeln "Det här är inte X, det är Y" kan vara den största LLM-giveawayen efter EM Dash-missbruk

Denna CPO visade mig hur man bygger A/B-tester på 2 minuter. (Inga utvecklare behövs) I dagens avsnitt satte jag mig ner med Frederic De Todaro för en masterclass i AI-experiment. Han har varit en CPO i experiment i 12+ år. Om du vill bemästra experiment i AI-åldern... 🎬 Titta nu: 🎧 Eller lyssna: Spotify: Äpple: Tack till våra sponsorer: 1. Mobbin: 2. Jira produkt upptäckt: 3. Produktfakultet - $550 rabatt: 4. Maven - $100 rabatt: Vi täcker: 1. Experiment med AI och 2. Experimentering för AI-funktioner Här var mina favorit takeaways över varje. 1. Experimentera med AI a. AI omvandlar flaskhalsen i bygget till hastighet De flesta team A/B-testar mindre än 20 % av versionerna eftersom det krävs utvecklare för att skapa varianter. AI eliminerar denna begränsning genom att generera experimentvarianter från enkla uppmaningar på några minuter i stället för sprintar. b. Flerarmade banditer > A/B för tidskänsliga Traditionella A/B-tester delar upp trafiken lika och väntar på statistisk signifikans. Flerarmade banditer allokerar gradvis mer trafik till vinnande varianter i realtid, perfekt för medieföretag som testar rubriker. 1c. AI skapar "UX-minne" → förhindrar upprepade misstag AI kan skanna hela din experimenthistorik och varna när du är på väg att testa något som redan har misslyckats. Denna institutionella kunskap hindrar team från att slösa tid på tidigare validerade återvändsgränder. 2. Experimentering för AI-funktioner 2a. Mät affärsresultat, inte bara användning AI-funktioner bör flytta dina kärnverksamhetsmått – som experiment som skapas dagligen – inte bara engagemangsmått. Om din AI-assistent inte ökar den faktiska experimenthastigheten är det dyr teater. 2b. Använd LLM-as-judge för att utvärdera AI-noggrannhet Konfigurera en andra AI-modell för att bedöma din primära AI:s svar med avseende på noggrannhet, relevans och kontextkvalitet. Låt den generera liknande frågor baserat på AI-svar för att verifiera svarets relevans automatiskt. 2c. Tre steg för att mäta AI RAG-system Titta på trofasthet (stämmer svaret överens med källan?), relevans (är det relevant för frågan?) och kontextkvalitet (är sammanhanget verkligen användbart?) Fullständig skrivning här: P.S. Använder du AI för att experimentera?

Din framgång eller misslyckande avgörs under de första 90 dagarna.