Acest CPO mi-a arătat cum să construiesc teste A/B în 2 minute. (Nu este nevoie de dezvoltatori) În episodul de astăzi, am stat de vorbă cu Frederic De Todaro pentru un masterclass de experimentare AI. A fost CPO în experimentare timp de 12+ ani. Dacă vrei să stăpânești experimentarea în era AI... 🎬 Urmărește acum: 🎧 Sau ascultă: Spotify: Măr: Mulțumim sponsorilor noștri: 1. Mobbin: 2. Descoperirea produselor Jira: 3. Facultatea de produs - reducere de 550 USD: 4. Maven - reducere de 100 USD: Acoperim: 1. Experimentarea cu IA și 2. Experimentare pentru funcții AI Iată concluziile mele preferate din fiecare. 1. Experimentarea cu AI a. AI transformă blocajul de construcție în viteză Majoritatea echipelor testează mai puțin de 20% din lansări, deoarece construirea variațiilor necesită dezvoltatori. AI elimină această constrângere prin generarea de variații de experiment din solicitări simple în câteva minute în loc de sprinturi. b. Bandiți cu mai multe brațe > A/B pentru sensibilitate la timp Testele tradiționale A/B împart traficul în mod egal și așteaptă semnificația statistică. Bandiții cu mai multe brațe alocă treptat mai mult trafic variantelor câștigătoare în timp real, perfect pentru companiile media care testează titlurile. 1c. AI creează "memorie UX" → previne repetarea greșelilor AI vă poate scana întregul istoric al experimentelor și vă poate avertiza când sunteți pe cale să testați ceva care a eșuat deja. Aceste cunoștințe instituționale împiedică echipele să piardă timpul cu fundături validate anterior. 2. Experimentare pentru funcții AI 2a. Măsurați rezultatele afacerii, nu doar utilizarea Funcțiile AI ar trebui să vă mute valorile de bază ale afacerii - cum ar fi experimentele create zilnic - nu doar valorile de implicare. Dacă asistentul tău AI nu crește viteza reală de experimentare, este un teatru scump. 2b. Utilizați LLM-as-judge pentru a evalua acuratețea AI Configurați un al doilea model AI pentru a evalua răspunsurile AI principale pentru acuratețe, relevanță și calitate a contextului. Puneți-l să genereze întrebări similare pe baza răspunsurilor AI pentru a verifica automat relevanța răspunsului. 2c. Trei pași pentru măsurarea sistemelor AI RAG Uitați-vă la fidelitate (este răspunsul adevărat pentru sursă?), relevanță (este relevant pentru întrebare?) și calitatea contextului (este contextul cu adevărat util?) Scriere completă aici: P.S. Folosești AI pentru a experimenta?