Ai đã phát minh ra mạng nơ-ron tích chập (CNN)? 1969: Fukushima đã có ReLU liên quan đến CNN [2]. 1979: Fukushima đã có kiến trúc CNN cơ bản với các lớp tích chập và các lớp giảm mẫu [1]. Chi phí tính toán cao gấp 100 lần so với năm 1989, và gấp một tỷ lần so với ngày nay. 1987: Waibel đã áp dụng thuật toán lan truyền ngược của Linnainmaa năm 1970 [3] cho TDNN chia sẻ trọng số với các tích chập 1 chiều [4]. 1988: Wei Zhang và các cộng sự đã áp dụng CNN 2 chiều được huấn luyện bằng lan truyền ngược "hiện đại" cho nhận diện ký tự [5]. Tất cả những điều trên đã được công bố tại Nhật Bản từ 1979-1988. 1989: LeCun và các cộng sự đã áp dụng lại CNN cho nhận diện ký tự (mã bưu điện) [6,10]. 1990-93: Phương pháp giảm mẫu của Fukushima dựa trên trung bình không gian [1] đã được thay thế bằng max-pooling cho TDNN 1-D (Yamaguchi và các cộng sự) [7] và CNN 2-D (Weng và các cộng sự) [8]. 2011: Muộn hơn, nhóm của tôi với Dan Ciresan đã làm cho CNN max-pooling thực sự nhanh trên GPU NVIDIA. Năm 2011, DanNet đã đạt được kết quả nhận diện mẫu siêu nhân đầu tiên [9]. Trong một thời gian, nó đã có độc quyền: từ tháng 5 năm 2011 đến tháng 9 năm 2012, DanNet đã thắng mọi thử thách nhận diện hình ảnh mà nó tham gia, 4 lần liên tiếp. Tuy nhiên, điều này chủ yếu liên quan đến kỹ thuật và mở rộng những hiểu biết cơ bản từ thiên niên kỷ trước, tận dụng phần cứng nhanh hơn rất nhiều. Một số "chuyên gia AI" tuyên bố rằng "làm cho CNN hoạt động" (ví dụ, [5,6,9]) quan trọng như việc phát minh ra chúng. Nhưng "làm cho chúng hoạt động" phần lớn phụ thuộc vào việc phòng thí nghiệm của bạn có đủ tiền để mua những máy tính mới nhất cần thiết để mở rộng công việc ban đầu. Điều này cũng giống như ngày nay. Nghiên cứu cơ bản so với kỹ thuật/phát triển - R so với D trong R&D. TÀI LIỆU THAM KHẢO [1] K. Fukushima (1979). Mô hình mạng nơ-ron cho cơ chế nhận diện mẫu không bị ảnh hưởng bởi sự dịch chuyển vị trí — Neocognitron. Trans. IECE, vol. J62-A, no. 10, pp. 658-665, 1979. [2] K. Fukushima (1969). Trích xuất đặc trưng hình ảnh bằng một mạng nhiều lớp các phần tử ngưỡng tương tự. IEEE Transactions on Systems Science and Cybernetics. 5 (4): 322-333. Công trình này đã giới thiệu các đơn vị tuyến tính đã được điều chỉnh (ReLUs), hiện đang được sử dụng trong nhiều CNN. [3] S. Linnainmaa (1970). Luận văn Thạc sĩ, ĐH Helsinki, 1970. Ấn phẩm đầu tiên về "lan truyền ngược hiện đại", còn được gọi là chế độ ngược của phân biệt tự động. (Xem tổng quan về lan truyền ngược nổi tiếng của Schmidhuber: "Ai đã phát minh ra lan truyền ngược?") [4] A. Waibel. Nhận diện âm vị sử dụng Mạng nơ-ron độ trễ thời gian. Cuộc họp của IEICE, Tokyo, Nhật Bản, 1987. Lan truyền ngược cho TDNN chia sẻ trọng số với các tích chập 1 chiều. ...