### 4.2打开问题 该报告记录了各种新型ConvNet架构和构建块的设计取得的重大进展。虽然这一进展在几个计算机视觉应用中产生了新的先进技术，但了解这些ConvNets如何实现这些结果却落后了。此外，对这些方法的性能限制（_，例如_。失效模式）几乎没有理解。因此，揭示这些ConvNets捕获的信息变得尤为重要。目前，专注于理解ConvNets的方法在本章所讨论的相关文献中变得明显。然而，虽然这里讨论的几种技术都采取了很好的措施，但它们都留下了尚未解决的悬而未决的关键问题。 实际上，针对解释ConvNets的不同技术的评论显示，最广泛采用的方法依赖于可视化。然而，基于可视化技术的最大缺陷之一是它们将对复杂和高度非线性模型的理解减少到对各种潜在解释开放的单个图像。值得注意的是，这些可视化根据所采用的技术而变化（_，例如_。以数据集为中心，以网络为中心，如图4.2和4.3所示），并且通常还取决于所考虑的体系结构以及培训策略[6]。他们的解释也非常主观。更重要的是，在最近的一项研究中显示，用随机噪声替换特征图的强响应并通过DeConvNet架构将其传播回产生与投影回特征图响应本身时所获得的相似的可视化[105]。因此，本研究表明，以数据集为中心的可视化并不一定能揭示特定要素图捕获的内容，因为它们本身依赖于网络学习的参数来生成可视化。因此，基于此讨论，以下几点成为基于可视化方法的潜在关键方法： * 首先，通过引入评估所生成图像的质量和/或含义的度量，开发使可视化评估更客观的方法是至关重要的。 * 此外，虽然看起来以网络为中心的可视化方法更有前景，因为他们不依赖于网络本身来生成可视化（_，例如_ .DeConvNet），似乎有必要将他们的评估过程标准化为一种可能的解决方案是使用基准来生成在相同条件下训练的可视化和网络。这种标准化可以反过来允许基于度量的评估而不是当前基于解释的分析。 * 另一种方法是同时可视化多个单元，以便更好地捕获研究中表示的分布式方面，即使在遵循受控方法的情况下也是如此。 考虑到消融研究，虽然它们允许隔离网络的各个部分以识别负责更好性能的组件，但它们无法真正阐明网络学习的内容，因为他们试图解释ConvNets“孤立的高度交织的组件。值得注意的是，在他们目前的应用中，消融研究只是用来收集绩效的几个百分点，而不是从理解的角度真正增加价值。这里，基于消融的方法可能有趣的方法包括： * 使用通用且系统组织的数据集，捕获计算机视觉中常见的不同挑战（_，例如_。视点和光照变化），并且需要具有更高复杂程度的类别（_，例如_纹理，零件和物体。实际上，最近引入了这种初始数据集[6]。对这样的数据集使用消融研究，以及对所产生的混淆矩阵的分析，可以精确定位ConvNet架构的故障模式，从而提供更好的理解。 * 此外，有关多个协调消融如何影响性能的系统研究很有意思。这些研究应该将洞察力扩展到孤立单位的表现之外 最后，尽管可视化和消融研究方法存在理解ConvNets的缺陷，但它们仍然对ConvNet的缺点有所了解，例如学习过滤器的冗余（_，例如_。见图3.8）和重要性某些非线性（_，例如_。[77,23]）。这些见解反过来用于ConvNet实现的更加可控的方法，这些方法不太依赖于数据，更重要的是不那么模糊（_，例如_。[15,113,75,78,60]）。这些受控方法正在成为未来研究的一个有前途的方向，因为它们可以更深入地理解这些系统相对于纯粹基于学习的方法所采用的操作和表示。实际上，前一章回顾了许多这样的见解。反过来，它们也有可能根据其精确的系统规格支持更严格的性能界限。这里有趣的方法包括： * 逐步修复网络参数并分析对网络行为的影响。例如，一次一层地修复卷积核参数（基于手头任务的一些先验知识），以分析每层采用的内核的适用性。这种渐进的方法有可能揭示学习的作用，也可以用作初始化，以最大限度地减少培训时间。 * 类似地，可以通过分析输入信号属性（_，例如_）来研究网络架构本身的设计（_，例如_。层数或每层滤波器数。）信号的频率内容）。此方法可以帮助调整架构的复杂性以适应应用程序。 * 最后，对网络实现的受控方法的使用可以伴随对ConvNets的其他方面的作用的系统研究，其通常由于关注学习参数而受到较少关注。例子包括调查各种汇集策略以及当大多数学习参数被修复时剩余连接的作用。