Этот CPO показал мне, как создавать A/B тесты за 2 минуты. (Разработчики не нужны) В сегодняшнем эпизоде я встретился с Фредериком Де Тодаро для мастер-класса по экспериментированию с ИИ. Он является CPO в области экспериментирования более 12 лет. Если вы хотите овладеть экспериментированием в эпоху ИИ... 🎬 Смотрите сейчас: 🎧 Или слушайте: Spotify: Apple: Спасибо нашим спонсорам: 1. Mobbin: 2. Jira Product Discovery: 3. Product Faculty - скидка $550: 4. Maven - скидка $100: Мы обсудим: 1. Экспериментирование с ИИ и 2. Экспериментирование для функций ИИ Вот мои любимые выводы по каждому из пунктов. 1. Экспериментирование с ИИ a. ИИ превращает узкое место в процессе сборки в скорость Большинство команд A/B тестируют менее 20% релизов, потому что создание вариаций требует разработчиков. ИИ устраняет это ограничение, генерируя вариации экспериментов из простых подсказок за минуты вместо спринтов. b. Многофункциональные бандиты > A/B для чувствительных ко времени Традиционные A/B тесты равномерно распределяют трафик и ждут статистической значимости. Многофункциональные бандиты постепенно выделяют больше трафика выигрышным вариантам в реальном времени, что идеально подходит для медиа-компаний, тестирующих заголовки. 1c. ИИ создает "UX память" → предотвращает повторные ошибки ИИ может просканировать всю вашу историю экспериментов и предупредить, когда вы собираетесь протестировать что-то, что уже провалилось. Эти институциональные знания предотвращают команды от потери времени на ранее проверенные тупиковые пути. 2. Экспериментирование для функций ИИ 2a. Измеряйте бизнес-результаты, а не только использование Функции ИИ должны влиять на ваши основные бизнес-метрики - такие как количество созданных экспериментов в день - а не только на метрики вовлеченности. Если ваш ИИ-ассистент не увеличивает фактическую скорость экспериментирования, это дорогое театральное представление. 2b. Используйте LLM как судью для оценки точности ИИ Настройте вторую модель ИИ для оценки ответов вашего основного ИИ на точность, актуальность и качество контекста. Пусть она генерирует аналогичные вопросы на основе ответов ИИ, чтобы автоматически проверить актуальность ответов. 2c. Три шага для измерения систем AI RAG Смотрите на верность (является ли ответ истинным по отношению к источнику?), актуальность (является ли он актуальным для вопроса?) и качество контекста (является ли контекст действительно полезным?) Полное описание здесь: P.S. Используете ли вы ИИ для экспериментов?