Cine a inventat rețelele neuronale convoluționale (CNN)? 1969: Fukushima a avut ReLU-uri relevante pentru CNN [2]. 1979: Fukushima a avut arhitectura de bază a CNN cu straturi de convoluție și straturi de subeșantionare [1]. Calculul a fost de 100 de ori mai costisitor decât în 1989 și de un miliard de ori mai costisitor decât astăzi. 1987: Waibel a aplicat retropropagarea lui Linnainmaa din 1970 [3] la TDNN-urile de împărțire a greutății cu circumvoluții unidimensionale [4]. 1988: Wei Zhang et al. au aplicat CNN-urile bidimensionale "moderne" antrenate de backprop la recunoașterea caracterelor [5]. Toate cele de mai sus au fost publicate în Japonia între 1979 și 1988. 1989: LeCun et al. au aplicat din nou CNN-urile la recunoașterea caracterelor (coduri poștale) [6,10]. 1990-93: Reducerea eșantionării de la Fukushima bazată pe media spațială [1] a fost înlocuită cu max-pooling pentru TDNN-uri 1-D (Yamaguchi et al.) [7] și CNN-uri 2-D (Weng et al.) [8]. 2011: Mult mai târziu, echipa mea cu Dan Ciresan a făcut ca CNN-urile să fie foarte rapide pe GPU-urile NVIDIA. În 2011, DanNet a obținut primul rezultat de recunoaștere a modelelor supraumane [9]. Pentru o vreme, s-a bucurat de un monopol: din mai 2011 până în septembrie 2012, DanNet a câștigat toate provocările de recunoaștere a imaginii la care a participat, 4 dintre ele la rând. Desigur, totuși, a fost vorba în mare parte despre inginerie și extinderea cunoștințelor de bază din mileniul precedent, profitând de hardware mult mai rapid. Unii "experți în inteligență artificială" susțin că "a face CNN-urile să funcționeze" (de exemplu, [5,6,9]) a fost la fel de important ca și inventarea lor. Dar "a le face să funcționeze" depindea în mare măsură de faptul dacă laboratorul tău era suficient de bogat pentru a cumpăra cele mai recente computere necesare pentru a extinde munca originală. Este la fel ca astăzi. Cercetare de bază vs inginerie/dezvoltare - R vs D în cercetare și dezvoltare. REFERINŢE [1] K. Fukushima (1979). Model de rețea neuronală pentru un mecanism de recunoaștere a modelelor neafectat de schimbarea poziției - Neocognitron. Trans. IECE, vol. J62-A, nr. 10, pp. 658-665, 1979. [2] K. Fukushima (1969). Extragerea caracteristicilor vizuale printr-o rețea multistratificată de elemente de prag analogice. Tranzacții IEEE privind știința sistemelor și cibernetică. 5 (4): 322-333. Această lucrare a introdus unități liniare rectificate (ReLU), acum utilizate în multe CNN-uri. [3] S. Linnainmaa (1970). Teză de masterat, Univ. Helsinki, 1970. Prima publicație despre retropropagarea "modernă", cunoscută și sub numele de modul invers de diferențiere automată. (Vezi binecunoscuta prezentare generală a lui Schmidhuber: "Cine a inventat retropropagarea?") [4] A. Waibel. Recunoașterea fonemelor folosind rețele neuronale cu întârziere. Reuniunea IEICE, Tokyo, Japonia, 1987. Retropropagare pentru un TDNN de împărțire a greutății cu circumvoluții 1-dimensionale. ...