Questo CPO mi ha mostrato come costruire test A/B in 2 minuti. (Nessuno sviluppatore necessario) Nell'episodio di oggi, mi sono seduto con Frederic De Todaro per una masterclass sull'esperimentazione con l'AI. È stato CPO nell'esperimentazione per oltre 12 anni. Se vuoi padroneggiare l'esperimentazione nell'era dell'AI... 🎬 Guarda ora: 🎧 Oppure ascolta: Spotify: Apple: Grazie ai nostri sponsor: 1. Mobbin: 2. Jira Product Discovery: 3. Product Faculty - $550 di sconto: 4. Maven - $100 di sconto: Trattiamo: 1. Sperimentazione con l'AI e 2. Sperimentazione per funzionalità AI Ecco i miei punti salienti preferiti per ciascuno. 1. Sperimentazione con l'AI a. L'AI trasforma il collo di bottiglia della costruzione in velocità La maggior parte dei team esegue test A/B su meno del 20% delle release perché costruire variazioni richiede sviluppatori. L'AI elimina questo vincolo generando variazioni di esperimento da semplici prompt in pochi minuti invece che in sprint. b. Multi-armed bandits > A/B per il tempo sensibile I test A/B tradizionali dividono il traffico in modo equo e aspettano la significatività statistica. I multi-armed bandits allocano gradualmente più traffico alle varianti vincenti in tempo reale, perfetti per le aziende media che testano i titoli. 1c. L'AI crea "memoria UX" → previene errori ripetuti L'AI può esaminare l'intera storia dei tuoi esperimenti e avvisarti quando stai per testare qualcosa che ha già fallito. Questa conoscenza istituzionale impedisce ai team di perdere tempo su vicoli ciechi precedentemente validati. 2. Sperimentazione per funzionalità AI 2a. Misura i risultati aziendali, non solo l'uso Le funzionalità AI dovrebbero influenzare le metriche aziendali fondamentali - come gli esperimenti creati quotidianamente - non solo le metriche di coinvolgimento. Se il tuo assistente AI non aumenta la reale velocità di sperimentazione, è un teatro costoso. 2b. Usa LLM come giudice per valutare l'accuratezza dell'AI Imposta un secondo modello AI per valutare le risposte della tua AI principale per accuratezza, rilevanza e qualità del contesto. Fai in modo che generi domande simili basate sulle risposte dell'AI per verificare automaticamente la rilevanza delle risposte. 2c. Tre passaggi per misurare i sistemi AI RAG Guarda la fedeltà (la risposta è vera rispetto alla fonte?), la rilevanza (è rilevante per la domanda?) e la qualità del contesto (il contesto è realmente utile?) Scrittura completa qui: P.S. Stai usando l'AI per sperimentare?