CPO này đã chỉ cho tôi cách xây dựng các bài kiểm tra A/B trong 2 phút. (Không cần lập trình viên) Trong tập hôm nay, tôi đã ngồi xuống với Frederic De Todaro để tham gia một lớp học về thử nghiệm AI. Ông ấy đã là CPO trong lĩnh vực thử nghiệm hơn 12 năm. Nếu bạn muốn thành thạo thử nghiệm trong thời đại AI... 🎬 Xem ngay: 🎧 Hoặc nghe: Spotify: Apple: Cảm ơn các nhà tài trợ của chúng tôi: 1. Mobbin: 2. Jira Product Discovery: 3. Product Faculty - giảm $550: 4. Maven - giảm $100: Chúng tôi đề cập đến: 1. Thử nghiệm với AI và 2. Thử nghiệm cho các tính năng AI Dưới đây là những điểm tôi yêu thích từ mỗi phần. 1. Thử nghiệm với AI a. AI biến nút thắt trong xây dựng thành tốc độ Hầu hết các đội nhóm A/B thử nghiệm ít hơn 20% số lần phát hành vì việc xây dựng các biến thể cần lập trình viên. AI loại bỏ rào cản này bằng cách tạo ra các biến thể thử nghiệm từ các gợi ý đơn giản trong vài phút thay vì vài tuần. b. Multi-armed bandits > A/B cho các trường hợp nhạy cảm về thời gian Các bài kiểm tra A/B truyền thống chia đều lưu lượng truy cập và chờ đợi sự ý nghĩa thống kê. Multi-armed bandits dần dần phân bổ nhiều lưu lượng truy cập hơn cho các biến thể thắng cuộc theo thời gian thực, hoàn hảo cho các công ty truyền thông thử nghiệm tiêu đề. 1c. AI tạo ra "kí ức UX" → ngăn chặn những sai lầm lặp lại AI có thể quét toàn bộ lịch sử thử nghiệm của bạn và cảnh báo khi bạn sắp thử nghiệm một điều gì đó đã thất bại. Kiến thức này ngăn các đội lãng phí thời gian vào những ngõ cụt đã được xác thực trước đó. 2. Thử nghiệm cho các tính năng AI 2a. Đo lường kết quả kinh doanh, không chỉ là mức sử dụng Các tính năng AI nên thúc đẩy các chỉ số kinh doanh cốt lõi của bạn - như số lượng thử nghiệm được tạo hàng ngày - không chỉ là các chỉ số tương tác. Nếu trợ lý AI của bạn không tăng tốc độ thử nghiệm thực tế, thì đó chỉ là một màn kịch tốn kém. 2b. Sử dụng LLM-as-judge để đánh giá độ chính xác của AI Thiết lập một mô hình AI thứ hai để đánh giá các phản hồi của AI chính của bạn về độ chính xác, tính liên quan và chất lượng ngữ cảnh. Hãy để nó tạo ra các câu hỏi tương tự dựa trên các câu trả lời của AI để tự động xác minh tính liên quan của phản hồi. 2c. Ba bước để đo lường hệ thống AI RAG Xem xét độ trung thành (câu trả lời có đúng với nguồn không?), tính liên quan (nó có liên quan đến câu hỏi không?) và chất lượng ngữ cảnh (ngữ cảnh có thực sự hữu ích không?) Bài viết đầy đủ ở đây: P.S. Bạn có đang sử dụng AI để thử nghiệm không?