Цей CPO показав мені, як створювати A/B-тести за 2 хвилини. (Розробники не потрібні) У сьогоднішньому епізоді я сів з Фредеріком Де Тодаро на майстер-клас з експериментів зі штучним інтелектом. Він працює CPO в експериментах вже 12+ років. Якщо ви хочете освоїти експерименти в епоху штучного інтелекту... 🎬 Дивіться зараз: 🎧 Або послухайте: Spotify: Яблуко: Дякуємо нашим спонсорам: 1. Моббін: 2. Виявлення продукту Jira: 3. Факультет продуктів – знижка 550 доларів США: 4. Maven – знижка 100 доларів: Ми охоплюємо: 1. Експерименти зі штучним інтелектом та 2. Експерименти для функцій штучного інтелекту Ось мої улюблені висновки з кожного з них. 1. Експерименти зі штучним інтелектом a. Штучний інтелект перетворює вузьке місце збірки на швидкість Більшість команд A/B тестують менше 20% релізів, тому що для створення варіацій потрібні розробники. Штучний інтелект усуває це обмеження, генеруючи варіації експериментів із простих підказок за хвилини замість спринтів. b. Багаторукі бандити > A/B для швидкої залежності Традиційні A/B-тести розбивають трафік порівну і чекають статистичної значущості. Багаторукі бандити поступово розподіляють все більше трафіку на виграшні варіанти в режимі реального часу, що ідеально підходить для медіакомпаній, які тестують заголовки. 1c. Штучний інтелект створює «UX пам'ять» → запобігає повторенню помилок Штучний інтелект може сканувати всю історію ваших експериментів і попереджати, коли ви збираєтеся протестувати щось, що вже не вдалося. Ці інституційні знання не дозволяють командам витрачати час на раніше перевірені глухі кути. 2. Експерименти для функцій штучного інтелекту 2а. Оцінюйте бізнес-результати, а не лише використання Функції штучного інтелекту мають рухати ваші основні бізнес-показники, як-от експерименти, що створюються щодня, а не лише показники залученості. Якщо ваш помічник зі штучним інтелектом не збільшує фактичну швидкість експериментів, це дорогий театр. 2б. Використовуйте LLM-as-judge для оцінки точності штучного інтелекту Налаштуйте другу модель штучного інтелекту, щоб оцінити реакцію вашого основного штучного інтелекту на точність, релевантність і якість контексту. Нехай він генерує подібні запитання на основі відповідей штучного інтелекту, щоб автоматично перевіряти актуальність відповіді. 2 розд. Три кроки для вимірювання систем AI RAG Подивіться на вірність (чи вірна відповідь джерелу?), релевантність (чи має вона відношення до питання?) і якість контексту (чи дійсно контекст корисний?) Повний опис тут: P.S. Чи використовуєте ви штучний інтелект для експериментів?