Dieser CPO hat mir gezeigt, wie man A/B-Tests in 2 Minuten aufbaut. (Keine Entwickler benötigt) In der heutigen Episode habe ich mich mit Frederic De Todaro zu einem Masterclass über KI-Experimentierung zusammengesetzt. Er ist seit über 12 Jahren CPO im Bereich Experimentierung. Wenn du die Experimentierung im Zeitalter der KI meistern möchtest... 🎬 Jetzt ansehen: 🎧 Oder anhören: Spotify: Apple: Danke an unsere Sponsoren: 1. Mobbin: 2. Jira Product Discovery: 3. Product Faculty - 550 $ Rabatt: 4. Maven - 100 $ Rabatt: Wir behandeln: 1. Experimentierung mit KI und 2. Experimentierung für KI-Funktionen Hier sind meine Lieblings-Insights aus jedem Bereich. 1. Experimentierung mit KI a. KI verwandelt den Engpass beim Bauen in Geschwindigkeit Die meisten Teams führen A/B-Tests bei weniger als 20 % der Releases durch, da das Erstellen von Variationen Entwickler erfordert. KI beseitigt dieses Hindernis, indem sie Experimentvariationen aus einfachen Eingabeaufforderungen in Minuten anstelle von Sprints generiert. b. Multi-armed bandits > A/B für zeitkritische Tests Traditionelle A/B-Tests teilen den Traffic gleichmäßig auf und warten auf statistische Signifikanz. Multi-armed bandits weisen in Echtzeit schrittweise mehr Traffic den gewinnenden Varianten zu, perfekt für Medienunternehmen, die Überschriften testen. 1c. KI schafft "UX-Gedächtnis" → verhindert wiederholte Fehler KI kann deine gesamte Experimenthistorie durchsuchen und warnen, wenn du dabei bist, etwas zu testen, das bereits gescheitert ist. Dieses institutionelle Wissen verhindert, dass Teams Zeit mit zuvor validierten Sackgassen verschwenden. 2. Experimentierung für KI-Funktionen 2a. Geschäftsergebnisse messen, nicht nur Nutzung KI-Funktionen sollten deine Kern-Geschäftsmetriken beeinflussen - wie täglich erstellte Experimente - nicht nur Engagementmetriken. Wenn dein KI-Assistent die tatsächliche Experimentiergeschwindigkeit nicht erhöht, ist es teures Theater. 2b. Verwende LLM als Richter zur Bewertung der KI-Genauigkeit Richte ein zweites KI-Modell ein, um die Antworten deiner primären KI auf Genauigkeit, Relevanz und Kontextqualität zu bewerten. Lass es ähnliche Fragen basierend auf den KI-Antworten generieren, um die Relevanz der Antworten automatisch zu überprüfen. 2c. Drei Schritte zur Messung von KI-RAG-Systemen Achte auf Treue (ist die Antwort wahr zum Ursprung?), Relevanz (ist sie relevant zur Frage?) und Kontextqualität (ist der Kontext tatsächlich nützlich?) Vollständiger Bericht hier: P.S. Nutzt du KI zur Experimentierung?