Este CPO me mostrou como construir testes A/B em 2 minutos. (Não são necessários desenvolvedores) No episódio de hoje, sentei-me com Frederic De Todaro para uma masterclass em experimentação de IA. Ele é CPO em experimentação há 12+ anos. Se você deseja dominar a experimentação na era da IA... 🎬 Assista agora: 🎧 Ou ouça: Spotify: Maçã: Obrigado aos nossos patrocinadores: 1. Mobbin: 2. Descoberta de produtos Jira: 3. Faculdade de produtos - $ 550 de desconto: 4. Maven - $ 100 de desconto: Nós cobrimos: 1. Experimentação com IA e 2. Experimentação de recursos de IA Aqui estão minhas conclusões favoritas em cada um. 1. Experimentação com IA a. A IA transforma o gargalo de construção em velocidade A maioria das equipes testa A/B menos de 20% das versões porque a construção de variações requer desenvolvedores. A IA elimina essa restrição gerando variações de experimentos a partir de prompts simples em minutos, em vez de sprints. b. Bandidos multi-armados > A/B para sensível ao tempo Os testes A/B tradicionais dividem o tráfego igualmente e aguardam a significância estatística. Bandidos multi-armados alocam gradualmente mais tráfego para variantes vencedoras em tempo real, perfeito para empresas de mídia que testam manchetes. 1c. A IA cria "memória UX" → evita erros repetidos A IA pode escanear todo o seu histórico de experimentos e avisar quando você está prestes a testar algo que já falhou. Esse conhecimento institucional evita que as equipes percam tempo em becos sem saída previamente validados. 2. Experimentação de recursos de IA 2uma. Meça os resultados de negócios, não apenas o uso Os recursos de IA devem mover suas principais métricas de negócios, como experimentos criados diariamente, não apenas as métricas de engajamento. Se o seu assistente de IA não aumentar a velocidade real de experimentação, é um teatro caro. 2 ter. Use o LLM como juiz para avaliar a precisão da IA Configure um segundo modelo de IA para avaliar as respostas da IA primária quanto à precisão, relevância e qualidade do contexto. Faça com que ele gere perguntas semelhantes com base em respostas de IA para verificar a relevância da resposta automaticamente. 2c. Três etapas para medir os sistemas AI RAG Olhe para a fidelidade (a resposta é verdadeira para a fonte?), relevância (é relevante para a pergunta?) e qualidade do contexto (o contexto é realmente útil?) Redação completa aqui: P.S. Você está usando IA para experimentar?