Este CPO mostrou-me como construir testes A/B em 2 minutos. (Nenhum desenvolvedor necessário) No episódio de hoje, sentei-me com Frederic De Todaro para uma masterclass em experimentação com IA. Ele é CPO em experimentação há mais de 12 anos. Se você quer dominar a experimentação na era da IA... 🎬 Assista agora: 🎧 Ou ouça: Spotify: Apple: Agradecimentos aos nossos patrocinadores: 1. Mobbin: 2. Jira Product Discovery: 3. Product Faculty - $550 de desconto: 4. Maven - $100 de desconto: Nós cobrimos: 1. Experimentação com IA e 2. Experimentação para recursos de IA Aqui estão os meus principais aprendizados em cada um. 1. Experimentação com IA a. A IA transforma o gargalo de construção em velocidade A maioria das equipes testa A/B menos de 20% dos lançamentos porque construir variações requer desenvolvedores. A IA elimina essa restrição gerando variações de experimento a partir de prompts simples em minutos, em vez de sprints. b. Bandits multi-armados > A/B para sensibilidade ao tempo Testes A/B tradicionais dividem o tráfego igualmente e esperam por significância estatística. Bandits multi-armados alocam gradualmente mais tráfego para variantes vencedoras em tempo real, perfeito para empresas de mídia testando manchetes. 1c. A IA cria "memória UX" → previne erros repetidos A IA pode escanear todo o seu histórico de experimentos e avisar quando você está prestes a testar algo que já falhou. Este conhecimento institucional impede que as equipes percam tempo em becos sem saída previamente validados. 2. Experimentação para recursos de IA 2a. Meça resultados de negócios, não apenas uso Recursos de IA devem mover suas métricas de negócios principais - como experimentos criados diariamente - não apenas métricas de engajamento. Se o seu assistente de IA não aumentar a velocidade real de experimentação, é um teatro caro. 2b. Use LLM como juiz para avaliar a precisão da IA Configure um segundo modelo de IA para avaliar as respostas da sua IA principal quanto à precisão, relevância e qualidade do contexto. Faça com que ele gere perguntas semelhantes com base nas respostas da IA para verificar automaticamente a relevância das respostas. 2c. Três passos para medir sistemas RAG de IA Observe a fidelidade (a resposta é verdadeira em relação à fonte?), relevância (é relevante para a pergunta?) e qualidade do contexto (o contexto é realmente útil?) Escrita completa aqui: P.S. Você está usando IA para experimentar?