Kuka keksi konvoluutiohermoverkot (CNN)? 1969: Fukushimassa oli CNN:n kannalta merkityksellisiä ReLU:ita [2]. 1979: Fukushimassa oli CNN:n perusarkkitehtuuri, jossa oli konvoluutiokerroksia ja alasnäytteenottokerroksia [1]. Laskenta oli 100 kertaa kalliimpaa kuin vuonna 1989 ja miljardi kertaa kalliimpaa kuin nykyään. 1987: Waibel sovelsi Linnainmaan vuoden 1970 takaisinetenemistä [3] painonjakoisiin TDNN:iin, joissa on 1-ulotteiset konvoluutiot [4]. 1988: Wei Zhang et al. sovelsivat "moderneja" taustalla koulutettuja 2-ulotteisia CNN:iä hahmojen tunnistamiseen [5]. Kaikki edellä mainitut julkaistiin Japanissa vuosina 1979-1988. 1989: LeCun et al. sovelsivat CNN:ää jälleen merkkientunnistukseen (postinumerot) [6,10]. 1990-93: Fukushiman spatiaaliseen keskiarvoon perustuva alasnäytteiden otto [1] korvattiin 1-D-TDNN:ien maksimipoolingilla (Yamaguchi et al.) [7] ja 2-D CNN:t (Weng et al.) [8]. 2011: Paljon myöhemmin tiimini Dan Ciresanin kanssa teki CNN:ien maksimaalisesta yhdistämisestä todella nopeaa NVIDIA-grafiikkasuorittimilla. Vuonna 2011 DanNet saavutti ensimmäisen yli-inhimillisen hahmontunnistustuloksen [9]. Jonkin aikaa sillä oli monopoli: toukokuusta 2011 syyskuuhun 2012 DanNet voitti jokaisen kuvantunnistushaasteen, johon se osallistui, 4 peräkkäin. Myönnettäköön, että tässä oli kuitenkin enimmäkseen kyse suunnittelusta ja edellisen vuosituhannen perusoivallusten skaalaamisesta, hyötyen paljon nopeammasta laitteistosta. Jotkut "tekoälyasiantuntijat" väittävät, että "CNN:ien saaminen toimimaan" (esim. [5,6,9]) oli yhtä tärkeää kuin niiden keksiminen. Mutta "niiden saaminen toimimaan" riippui pitkälti siitä, oliko laboratoriosi tarpeeksi rikas ostamaan uusimmat tietokoneet, joita tarvittiin alkuperäisen työn skaalaamiseen. Se on sama kuin nykyään. Perustutkimus vs. suunnittelu/kehitys - T vs. kehitys T&K:ssa. VIITTAUKSET [1] K. Fukushima (1979). Hermoverkkomalli hahmontunnistusmekanismille, johon asennon muutos ei vaikuta - Neocognitron. Käännös IECE, vol. J62-A, nro 10, s. 658-665, 1979. [2] K. Fukushima (1969). Visuaalinen piirteiden poiminta analogisten kynnyselementtien monikerroksisella verkostolla. IEEE-tapahtumat systeemitieteessä ja kybernetiikassa. 5 (4): 322-333. Tämä työ esitteli tasasuuntaiset lineaariset yksiköt (ReLU), joita käytetään nykyään monissa CNN:issä. [3] S. Linnainmaa (1970). Pro gradu -tutkielma, Helsingin yliopisto, 1970. Ensimmäinen julkaisu "nykyaikaisesta" takaisinetenemisestä, joka tunnetaan myös automaattisen erottelun käänteisenä tilana. (Katso Schmidhuberin tunnettu takaisinlevityksen yleiskatsaus: "Kuka keksi takaisinetenemisen?") [4] A. Waibel. Foneemin tunnistus aikaviivehermoverkkojen avulla. IEICE:n kokous, Tokio, Japani, 1987. Taaksepäin eteneminen painon jakavalle TDNN:lle 1-ulotteisilla konvoluutioilla. ...