Tento CPO mi ukázal, jak vytvořit A/B testy za 2 minuty. (Nejsou potřeba žádní vývojáři) V dnešní epizodě jsem se posadil s Fredericem De Todarem na mistrovskou lekci experimentů s umělou inteligencí. Je CPO v experimentování již 12+ let. Pokud chcete zvládnout experimentování ve věku umělé inteligence... 🎬 Podívejte se: 🎧 Nebo poslouchejte: Spotify: Jablko: Děkujeme našim sponzorům: 1. Mobbin: 2. Objevování produktů Jira: 3. Produktová fakulta – sleva 550 $: 4. Maven - sleva 100 $: Pokrýváme: 1. Experimentování s umělou inteligencí a 2. Experimentování s funkcemi umělé inteligence Zde byly mé oblíbené poznatky z každého z nich. 1. Experimentování s umělou inteligencí a. Umělá inteligence transformuje úzké hrdlo sestavení na rychlost Většina týmů A/B testuje méně než 20 % verzí, protože vytváření variant vyžaduje vývojáře. Umělá inteligence toto omezení eliminuje tím, že generuje variace experimentů z jednoduchých výzev během několika minut namísto sprintů. b. Vícerucí bandité > A/B pro citlivé prostředí Tradiční A/B testy rozdělují návštěvnost rovnoměrně a čekají na statistickou významnost. Mnohorucí bandité postupně přidělují větší návštěvnost vítězným variantám v reálném čase, což je ideální pro mediální společnosti, které testují titulky. 1c. AI vytváří "UX paměť" → zabraňuje opakování chyb Umělá inteligence dokáže prohledat celou historii vašich experimentů a varovat, když se chystáte otestovat něco, co již selhalo. Tyto institucionální znalosti zabraňují týmům ztrácet čas na předem ověřených slepých uličkách. 2. Experimentování s funkcemi umělé inteligence 2a. Měřte obchodní výsledky, nejen využití Funkce umělé inteligence by měly hýbat vašimi základními obchodními metrikami – jako jsou experimenty vytvářené denně – nejen metrikami zapojení. Pokud váš asistent s umělou inteligencí nezvýší skutečnou rychlost experimentování, je to drahé divadlo. 2b. Použití LLM-as-judge k vyhodnocení přesnosti AI Nastavte druhý model umělé inteligence, který vyhodnotí odpovědi vaší primární umělé inteligence z hlediska přesnosti, relevance a kvality kontextu. Nechte generovat podobné otázky na základě odpovědí AI, aby se automaticky ověřila relevance odpovědi. 2c. Tři kroky k měření systémů AI RAG Podívejte se na věrnost (je odpověď pravdivá ke zdroji?), relevanci (je relevantní k otázce?) a kvalitu kontextu (je kontext skutečně užitečný?) Celý zápis zde: P.S. Používáte umělou inteligenci k experimentování?