Tämä CPO näytti minulle, kuinka A/B-testit rakennetaan 2 minuutissa. (Kehittäjiä ei tarvita) Tämän päivän jaksossa istuin alas Frederic De Todaron kanssa tekoälykokeilujen mestarikurssille. Hän on ollut CPO kokeiluissa 12+ vuotta. Jos haluat hallita kokeiluja tekoälyn aikakaudella... 🎬 Katso nyt: 🎧 Tai kuuntele: Spotify: Omena: Kiitos sponsoreillemme: 1. Mobbin: 2. Jira-tuotteiden löytäminen: 3. Tuotetiedekunta - 550 dollarin alennus: 4. Maven - 100 dollarin alennus: Kattamme: 1. Tekoälyn kokeilu ja 2. Tekoälyominaisuuksien kokeilu Tässä olivat suosikkini jokaisesta. 1. Tekoälyn kokeilu a. Tekoäly muuttaa rakennuksen pullonkaulan nopeudeksi Useimmat tiimit testaavat alle 20 % julkaisuista, koska muunnelmien rakentaminen vaatii kehittäjiä. Tekoäly poistaa tämän rajoituksen luomalla kokeilumuunnelmia yksinkertaisista kehotteista muutamassa minuutissa sprinttien sijaan. b. Monikätiset rosvot > A/B aikaherkkään käyttöön Perinteiset A/B-testit jakavat liikenteen tasaisesti ja odottavat tilastollista merkitsevyyttä. Monikätiset rosvot jakavat vähitellen enemmän liikennettä voittaville muunnelmille reaaliajassa, mikä sopii erinomaisesti otsikoita testaaville mediayrityksille. 1c. Tekoäly luo "UX-muistia" → estää toistuvat virheet Tekoäly voi skannata koko kokeiluhistoriasi ja varoittaa, kun olet testaamassa jotain, joka on jo epäonnistunut. Tämä institutionaalinen tietämys estää tiimejä tuhlaamasta aikaa aiemmin validoituihin umpikujiin. 2. Tekoälyominaisuuksien kokeilu 2a. Mittaa liiketoiminnan tuloksia, älä vain käyttöä Tekoälyominaisuuksien pitäisi siirtää liiketoiminnan ydinmittareita - kuten päivittäin luotuja kokeiluja - ei vain sitoutumismittareita. Jos tekoälyavustajasi ei lisää todellista kokeilunopeutta, se on kallista teatteria. 2b. Käytä LLM-as-judgea tekoälyn tarkkuuden arvioimiseen Määritä toinen tekoälymalli, joka arvioi ensisijaisen tekoälyn vastausten tarkkuutta, osuvuutta ja kontekstin laatua. Pyydä sitä luomaan samanlaisia kysymyksiä tekoälyn vastausten perusteella, jotta vastausten osuvuus voidaan tarkistaa automaattisesti. 2c. Kolme vaihetta AI RAG -järjestelmien mittaamiseen Katso uskollisuutta (onko vastaus totta lähteelle?), relevanssia (onko se olennaista kysymyksen kannalta?) ja kontekstin laatua (onko kontekstista todella hyötyä?) Koko kirjoitus täällä: P.S. Käytätkö tekoälyä kokeiluihin?