Ce CPO m'a montré comment construire des tests A/B en 2 minutes. (Pas besoin de développeurs) Dans l'épisode d'aujourd'hui, je me suis assis avec Frédéric De Todaro pour un masterclass sur l'expérimentation en IA. Il est CPO en expérimentation depuis plus de 12 ans. Si vous voulez maîtriser l'expérimentation à l'ère de l'IA... 🎬 Regardez maintenant : 🎧 Ou écoutez : Spotify : Apple : Merci à nos sponsors : 1. Mobbin : 2. Jira Product Discovery : 3. Product Faculty - 550 $ de réduction : 4. Maven - 100 $ de réduction : Nous couvrons : 1. L'expérimentation avec l'IA et 2. L'expérimentation pour les fonctionnalités IA Voici mes points clés préférés de chaque section. 1. L'expérimentation avec l'IA a. L'IA transforme le goulet d'étranglement de la construction en rapidité La plupart des équipes effectuent des tests A/B sur moins de 20 % des versions car la création de variations nécessite des développeurs. L'IA élimine cette contrainte en générant des variations d'expérimentation à partir de simples instructions en quelques minutes au lieu de sprints. b. Bandits manchots > A/B pour les tests sensibles au temps Les tests A/B traditionnels répartissent le trafic de manière égale et attendent la signification statistique. Les bandits manchots allouent progressivement plus de trafic aux variantes gagnantes en temps réel, parfait pour les entreprises de médias testant des titres. 1c. L'IA crée "la mémoire UX" → empêche les erreurs répétées L'IA peut analyser l'ensemble de votre historique d'expérimentation et avertir lorsque vous êtes sur le point de tester quelque chose qui a déjà échoué. Cette connaissance institutionnelle empêche les équipes de perdre du temps sur des impasses déjà validées. 2. L'expérimentation pour les fonctionnalités IA 2a. Mesurer les résultats commerciaux, pas seulement l'utilisation Les fonctionnalités IA devraient faire évoluer vos indicateurs commerciaux clés - comme le nombre d'expériences créées quotidiennement - pas seulement les indicateurs d'engagement. Si votre assistant IA n'augmente pas la vitesse réelle d'expérimentation, c'est un théâtre coûteux. 2b. Utiliser LLM comme juge pour évaluer l'exactitude de l'IA Configurez un deuxième modèle IA pour évaluer les réponses de votre IA principale en termes d'exactitude, de pertinence et de qualité du contexte. Faites-le générer des questions similaires basées sur les réponses de l'IA pour vérifier automatiquement la pertinence des réponses. 2c. Trois étapes pour mesurer les systèmes RAG de l'IA Regardez la fidélité (la réponse est-elle vraie par rapport à la source ?), la pertinence (est-elle pertinente par rapport à la question ?) et la qualité du contexte (le contexte est-il réellement utile ?) Écriture complète ici : P.S. Utilisez-vous l'IA pour expérimenter ?