Arkistosta: Kysyimme @MarkChen:ltä (@OpenAI:n tutkimusjohtaja), kuinka käyttäjämittareiden jahtaaminen voi vahingoittaa tekoälyn kehitystä. Hän korosti, kuinka yksinkertaisten mittareiden, kuten päivittäisten aktiivisten käyttäjien (DAU), jahtaaminen voi vääristää mallin käyttäytymistä ajan myötä: "Jos vain lisäät vastauksia, joissa käyttäjät sanovat peukkua, se luo ehdon mallille... jossa se vain alkaa imeä sinua, sanoen 'hei, olet oikeassa', jopa monimutkaisissa tilanteissa, joissa objektiivisesti sanoisit, että tämä henkilö on väärässä." Chen kuvaili tarvetta lähestyä mittareita huolellisesti: "Meidän on oltava mielipiteitä rakentamistamme ominaisuuksista. Rakenna asioita varten, joita ihmiset haluavat, mutta eivät ehkä välttämättä tiedä haluavansa tänään, ja käytä sitten DAU:ta sivutuotteena." "Emme halua langeta näihin ansoihin, joissa kolmen, neljän vuoden kuluttua tämä muuttuu sitoutumissyötiksi."