Jokaisessa käyttämässäsi perustusmallissa on sama bugi. Se juuri korjattiin. Vuodesta 2015 lähtien jokainen syväverkko on rakennettu samalla tavalla: jokainen kerros tekee jonkin verran laskentaa, lisää tuloksensa juoksevaan summaan ja välittää sen eteenpäin. Yksinkertaista. Mutta ongelma on, että kerroksessa 100 signaali yksittäisestä kerroksesta hautautuu kaiken muun alle. Jokainen uusi kerros merkitsee yhä vähemmän. Kukaan ei korjannut tätä, koska se toimi tarpeeksi hyvin. Moonshot-tekoäly muutti juuri sen. Heidän uusi menetelmänsä, Attention Residuals, antaa jokaisen kerroksen tarkastella kaikkia aiempia kerroksia ja valita, mitkä niistä oikeasti merkitsevät juuri nyt. Sokean juoksun sijaan saat valikoivan palautuksen. Vertauskuva: kuvittele kirjoittavasi esseen, jossa jokainen luonnos yhdistetään automaattisesti yhdeksi asiakirjaksi. Luonnokseen 50 mennessä viimeisimmät muokkauksesi ovat näkymättömiä. AttnRes antaa sinun pitää jokaisen luonnoksen erillään ja hakea niistä tarvitsemiasi. Mitä tämä korjaa: 1. Syvemmät kerrokset eivät enää huku ulkopuolelle 2. Koulutus muuttuu vakaammaksi koko verkostossa 3. Malli käyttää omaa syvyyttään tehokkaammin Jotta se olisi käytännöllistä mittakaavassa, he ryhmittelevät kerrokset lohkoiksi ja käsittelevät lohkotiivistelmiä jokaisen kerroksen sijaan. Yleiskustannukset päättelyssä: alle 2 %. Tuloksena: 25 % vähemmän laskentaa, jotta saavuttaisi saman suorituskyvyn. Testattu 48B-parametrilla mallilla. Sopii eri kokoisille....