## 第1章概论 ### 1.1动机 在过去几年中，计算机视觉的主要研究工作集中于卷积神经网络，通常简称为ConvNets或CNN。卷积神经网络在分类（详见[88,139,64]）和回归（详见[159,97,36]）等不同任务中均具有不俗的表现。与实际的表现相比，虽然这些方法已具有若干年的历史（详见[49,91]），但对这些方法所具有卓越性能的原因在理论上的研究严重滞后于应用的发展。事实上，目前计算机视觉领域的许多突出贡献都将卷积神经网络视为黑盒进行调用，对其工作原理的理解模糊而不明确，从科学的角度来看这极难令人满意。特别是两个主要的互补问题：（1）对于学习方面（例如卷积核），卷积神经网络究竟学到了什么？ （2）对于网络架构设计方面（例如层数，内核数/层数，池化策略，非线性选择），为什么某些选择比其他更好？这些问题的答案不仅可以增进对卷积神经网络的科学认识，还可以提高它们的实际适用性。 此外，目前卷积神经网络的实现需要大量的数据用于训练[84,88,91]，并且设计决策对性能有很大影响[23,77]。更深入的理论理解应该减少对数据驱动设计的依赖。虽然学者们已对成功实现的网络运行进行了实证研究，但迄今为止，研究结果主要局限于旨在了解卷积神经网络不同层面发生情况[154,133,104]的内部处理可视化。 ### 1.2目标 针对上述情况，本文档将对使用多层卷积架构的最出名案例进行回顾。重要的是，将通过回顾基于其生物学发现和/或合理理论基础的设计决策的不同方法，来讨论典型卷积网络的各组成部分。此外，通过可视化和实证研究理解卷积神经网络的不同尝试也将被介绍。最终目标是阐明卷积神经网络架构中涉及的每一个处理层的作用，提炼我们目前对卷积神经网络的理解，并突出关键的开放问题。 ### 1.3报告结构 本报告的结构如下：本章的动机是对我们如何理解卷积网络介绍的需求。第2章将介绍各种多层网络，并介绍计算机视觉应用中最成功的架构。第3章将更具体关注典型卷积网络的每个组成模块，并从生物学和理论角度讨论不同组成模块的设计。最后，第4章将介绍当前卷积神经网络设计趋势以及对卷积神经网络理解的努力，并强调当前卷积神经网络仍存在的一些重要而突出的缺点。