أظهر لي CPO هذا كيفية بناء اختبارات A / B في 2 دقيقة. (لا حاجة للمطورين) في حلقة اليوم ، جلست مع فريدريك دي تودارو لحضور دروس رئيسية في تجارب الذكاء الاصطناعي. لقد كان CPO في التجريب لمدة 12+ عاما. إذا كنت ترغب في إتقان التجريب في عصر الذكاء الاصطناعي ... 🎬 شاهد الآن: 🎧 أو استمع: سبوتيفي: تفاح: شكرا لرعاتنا: 1. موبين: 2. اكتشاف منتج Jira: 3. كلية المنتج - خصم 550 دولارا: 4. Maven - خصم 100 دولار: نحن نغطي: 1. التجريب مع الذكاء الاصطناعي و 2. تجريب ميزات الذكاء الاصطناعي هنا كانت الوجبات السريعة المفضلة لدي عبر كل منها. 1. التجريب مع الذكاء الاصطناعي أ. الذكاء الاصطناعي يحول عنق الزجاجة في البناء إلى سرعة تختبر معظم الفرق A / B أقل من 20٪ من الإصدارات لأن اختلافات البناء تتطلب مطورين. يزيل الذكاء الاصطناعي هذا القيد عن طريق إنشاء اختلافات في التجربة من المطالبات البسيطة في دقائق بدلا من سباقات السرعة. b. قطاع الطرق متعددي الأذرع > A / B للحساسية للوقت تقسم اختبارات A / B التقليدية حركة المرور بالتساوي وتنتظر الدلالة الإحصائية. يخصص قطاع الطرق متعددي الأذرع تدريجيا المزيد من الزيارات للمتغيرات الفائزة في الوقت الفعلي ، مما يجعلها مثالية لشركات الإعلام التي تختبر العناوين الرئيسية. 1ج. الذكاء الاصطناعي ينشئ "ذاكرة UX" → يمنع تكرار الأخطاء يمكن ل الذكاء الاصطناعي فحص سجل تجربتك بالكامل والتحذير عندما تكون على وشك اختبار شيء فشل بالفعل. تمنع هذه المعرفة المؤسسية الفرق من إضاعة الوقت في الطرق المسدودة التي تم التحقق من صحتها مسبقا. 2. تجريب ميزات الذكاء الاصطناعي 2 أ. قياس نتائج الأعمال، وليس فقط الاستخدام يجب أن تحرك ميزات الذكاء الاصطناعي مقاييس عملك الأساسية - مثل التجارب التي يتم إنشاؤها يوميا - وليس فقط مقاييس المشاركة. إذا كان مساعد الذكاء الاصطناعي الخاص بك لا يزيد من سرعة التجريب الفعلية ، فهو مسرح مكلف. 2 ب. استخدم LLM-as-judge لتقييم دقة الذكاء الاصطناعي قم بإعداد نموذج الذكاء الاصطناعي الثاني لتقييم استجابات الذكاء الاصطناعي الأساسي من حيث الدقة والملاءمة وجودة السياق. اطلب منه إنشاء أسئلة مماثلة بناء على إجابات الذكاء الاصطناعي للتحقق من ملاءمة الاستجابة تلقائيا. 2 ج. ثلاث خطوات لقياس أنظمة الذكاء الاصطناعي RAG انظر إلى الإخلاص (هل الإجابة صحيحة للمصدر؟) ، والملاءمة (هل هي ذات صلة بالسؤال؟) وجودة السياق (هل السياق مفيد بالفعل؟) الكتابة الكاملة هنا: ملاحظة: هل تستخدم الذكاء الاصطناعي للتجربة؟