CPO ini menunjukkan kepada saya cara membuat tes A/B dalam 2 menit. (Tidak perlu pengembang) Dalam episode hari ini, saya duduk bersama Frederic De Todaro untuk kelas master dalam eksperimen AI. Dia telah menjadi CPO dalam eksperimen selama 12+ tahun. Jika Anda ingin menguasai eksperimen di era AI... 🎬 Tonton sekarang: 🎧 Atau dengarkan: Spotify: Apel: Terima kasih kepada sponsor kami: 1. Gerombolan: 2. Penemuan Produk Jira: 3. Fakultas Produk - diskon $550: 4. Maven - Diskon $100: Kami meliputi: 1. Bereksperimen dengan AI dan 2. Eksperimen untuk fitur AI Berikut adalah takeaways favorit saya di masing-masing. 1. Eksperimen dengan AI a. AI mengubah kemacetan build menjadi kecepatan Sebagian besar tim menguji A/B kurang dari 20% rilis karena variasi membangun membutuhkan pengembang. AI menghilangkan kendala ini dengan menghasilkan variasi eksperimen dari petunjuk sederhana dalam hitungan menit, bukan sprint. b. Bandit bersenjata > A/B untuk sensitif waktu Tes A/B tradisional membagi lalu lintas secara merata dan menunggu signifikansi statistik. Bandit bersenjata secara bertahap mengalokasikan lebih banyak lalu lintas untuk varian pemenang secara real-time, sempurna untuk perusahaan media yang menguji berita utama. 1c. AI menciptakan "memori UX" → mencegah kesalahan berulang AI dapat memindai seluruh riwayat eksperimen Anda dan memperingatkan saat Anda akan menguji sesuatu yang sudah gagal. Pengetahuan kelembagaan ini mencegah tim membuang-buang waktu pada jalan buntu yang divalidasi sebelumnya. 2. Eksperimen untuk fitur AI 2a. Mengukur hasil bisnis, bukan hanya penggunaan Fitur AI harus menggerakkan metrik bisnis inti Anda - seperti eksperimen yang dibuat setiap hari - bukan hanya metrik keterlibatan. Jika asisten AI Anda tidak meningkatkan kecepatan eksperimen yang sebenarnya, itu adalah teater yang mahal. 2b. Gunakan LLM-as-judge untuk mengevaluasi akurasi AI Siapkan model AI kedua untuk menilai respons AI utama Anda untuk akurasi, relevansi, dan kualitas konteks. Minta untuk membuat pertanyaan serupa berdasarkan jawaban AI untuk memverifikasi relevansi respons secara otomatis. 2c. Tiga langkah untuk mengukur sistem AI RAG Lihatlah kesetiaan (apakah jawabannya benar dengan sumbernya?), relevansi (apakah relevan dengan pertanyaan?) dan kualitas konteks (apakah konteksnya benar-benar berguna?) Tulisan lengkap di sini: P.S. Apakah Anda menggunakan AI untuk bereksperimen?