# 对自然语言处理的深度学习的承诺 > 原文： [https://machinelearningmastery.com/promise-deep-learning-natural-language-processing/](https://machinelearningmastery.com/promise-deep-learning-natural-language-processing/) 在自然语言处理领域深度学习的承诺是模型的更好表现，这些模型可能需要更多数据但是训练和操作的语言专业知识更少。 围绕深度学习方法存在很多炒作和大量宣称，但除了炒作之外，深度学习方法在挑战性问题上实现了最先进的结果。特别是在自然语言处理方面。 在这篇文章中，您将发现深度学习方法对解决自然语言处理问题的具体承诺。 阅读这篇文章后，你会知道： * 深度学习自然语言处理的承诺。 * 关于 NLP 深度学习的承诺，从业者和研究科学家必须说些什么。 * 自然语言处理的关键深度学习方法和应用。 让我们开始吧。  自然语言处理深度学习的承诺 [D. Brandsma](https://www.flickr.com/photos/dbrandsma/5391092818/) 的照片，保留一些权利。 ## 深度学习的承诺 深度学习方法很受欢迎，主要是因为他们兑现了他们的承诺。 这并不是说该技术没有大肆宣传，而是炒作是基于非常真实的结果，这些结果正在通过计算机视觉和自然语言处理的一系列非常具有挑战性的人工智能问题得到证明。 深度学习的第一次大型演示是自然语言处理，特别是语音识别。最近在机器翻译。 在这篇文章中，我们将讨论自然语言处理领域深度学习方法的五个具体承诺。该领域的研究人员和从业人员最近强调了这一承诺，这些人可能比承诺的承诺更平均。 总之，它们是： 1. **直接替换模型的承诺**。也就是说，深度学习方法可以放入现有的自然语言系统中作为可以实现相称或更好表现的替代模型。 2. **新 NLP 模型的承诺**。也就是说，深度学习方法提供了新的建模方法的机会，以挑战自然语言问题，如序列到序列预测。 3. **特色学习的承诺**。也就是说，深度学习方法可以从模型所需的自然语言中学习特征，而不是要求专家指定和提取特征。 4. **持续改进的承诺**。也就是说，自然语言处理中的深度学习的表现基于实际结果，并且改进似乎在继续并且可能加速。 5. **端到端模型的承诺**。也就是说，大型端到端深度学习模型可以适应自然语言问题，提供更通用，表现更好的方法。 我们现在将仔细研究每一个。 对于自然语言处理还有其他深度学习的承诺;这些只是我选择强调的 5 个。 您认为深度学习对自然语言处理的承诺是什么？ 请在下面的评论中告诉我。 ## 1.直接替换模型的承诺 自然语言处理中深度学习的第一个承诺是能够用能够学习和利用非线性关系的表现更好的模型替换现有的线性模型。 Yoav Goldberg 在 NLP 研究人员的神经网络入门中强调了深度学习方法取得了令人瞩目的成果。 > 最近，神经网络模型也开始应用于文本自然语言信号，同样具有非常有希望的结果。 - [自然语言处理神经网络模型入门](https://arxiv.org/abs/1510.00726)，2015。 他继续强调这些方法易于使用，有时可用于批量替换现有的线性方法。 > 最近，该领域已经在通过密集输入从稀疏输入的这种线性模型转换到非线性神经网络模型方面取得了一些成功。虽然大多数神经网络技术易于应用，有时几乎是旧线性分类器的替代品，但在许多情况下存在强大的进入障碍。 - [自然语言处理神经网络模型入门](https://arxiv.org/abs/1510.00726)，2015。 ## 2.新 NLP 模型的承诺 另一个承诺是深度学习方法有助于开发全新的模型。 一个强有力的例子是使用能够在很长的序列上学习和调节输出的循环神经网络。该方法的不同之处在于它们允许从业者摆脱传统的建模假设，从而实现最先进的结果。 Yoav Goldberg 在其关于 NLP 深度学习的书中指出，复杂的神经网络模型（如循环神经网络）可以提供全新的 NLP 建模机会。 > 2014 年左右，该领域开始看到在密集输入上从稀疏输入的这种线性模型转换为非线性神经网络模型取得了一些成功。 ......其他更先进，需要改变思维方式，并提供新的建模机会。特别是，基于循环神经网络（RNN）的一系列方法减轻了对序列模型中普遍存在的马尔可夫假设的依赖，允许条件在任意长序列上产生有效的特征提取器。这些进步带来了语言建模，自动机器翻译和其他应用的突破。 - 第 xvii 页，[自然语言处理中的神经网络方法](http://amzn.to/2eScGtY)，2017。 ## 3.特色学习的承诺 深度学习方法能够学习特征表示，而不是要求专家手动指定和提取自然语言的特征。 NLP 研究员克里斯·曼宁（Chris Manning）在自然语言处理深度学习课程的第一讲中强调了不同的观点。 他描述了手动定义的输入功能的局限性，其中机器学习在统计 NLP 中的先前应用确实证明了人类定义功能并且计算机几乎没有学习。 克里斯认为深度学习方法的承诺是自动特征学习。他强调，功能学习是自动的而不是手动的，易于适应而不是脆弱，并且可以持续自动地进行改进。 > 一般而言，我们手动设计的功能往往过于规范，不完整，需要很长时间进行设计和验证，并且只能在一天结束时达到一定的表现水平。学习的功能易于适应，快速训练，他们可以继续学习，以便他们达到我们以前能够达到的更好的表现水平。 - Chris Manning，第 1 讲| 2017 年深度学习自然语言处理（[幻灯片](http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture1.pdf)，[视频](https://www.youtube.com/watch?v=OQQ-W_63UgQ)）。 ## 4.持续改进的承诺 对 NLP 进行深度学习的另一个承诺是继续并在挑战性问题上迅速改进。 在关于 NLP 深度学习的初始讲座中，克里斯·曼宁继续描述深度学习方法因其工作而受到自然语言的欢迎。 > 深度学习对大多数人来说如此令人兴奋的真正原因是它一直在起作用。 - Chris Manning，第 1 讲| 2017 年深度学习自然语言处理（[幻灯片](http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture1.pdf)，[视频](https://www.youtube.com/watch?v=OQQ-W_63UgQ)）。 他强调，最初的结果令人印象深刻，并且在演讲中取得的成果比过去 30 年中的任何其他方法都要好。 克里斯接着提到，这不仅是最先进的成果，而且还有改进的速度。 > ...在过去的 6 到 7 年里，刚刚完全令人惊叹的是，正是这种惊人的发展方式，深度学习方法一直在不断改进，并以惊人的速度变得更好。 ......我实际上只是说这是史无前例的，因为看起来这个领域的进展速度非常快，因为它能够逐月推出更好的办法。 - Chris Manning，第 1 讲| 2017 年深度学习自然语言处理（[幻灯片](http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture1.pdf)，[视频](https://www.youtube.com/watch?v=OQQ-W_63UgQ)）。 ## 5.端到端模型的承诺 深度学习的最后一个承诺是开发和训练自然语言问题的端到端模型，而不是开发专门模型的管道。 除了这些模型的改进表现之外，这对于开发的速度和简单性都是期望的。 神经机器翻译，或简称 NMT，是指试图学习将一种语言翻译成另一种语言的大型神经网络。这是一项传统上由传统手工调整模型管道处理的任务，每个模型都需要专业知识。 Chris Manning 在斯坦福大学 NLP 深度学习课程的第 10 讲中描述了这一点。 > 神经机器翻译用于表示我们想要做的是建立一个大的神经网络，我们可以训练整个端到端的机器翻译过程并优化端到端。 > > ... > > 这种从手工定制的分段模型向端到端序列到序列预测模型的转变一直是语音识别的趋势。这样做的系统被称为 NMT [神经机器翻译]系统。 - Chris Manning，第 10 讲：神经机器翻译和注意模型，2017 年。（[幻灯片](http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture10.pdf)，[视频](https://www.youtube.com/watch?v=IxQtK2SjWWM)） 这种趋向于端到端模型而非专用系统的流水线也是语音识别的趋势。 在斯坦福大学 NLP 课程中的语音识别演示中，现在在 Nvidia 的 NLP 研究员 Navdeep Jaitly 强调语音识别的每个组成部分都可以用神经网络代替。 自动语音识别流水线的大块是语音处理，声学模型，发音模型和语言模型。 问题是，每个子系统的属性和重要的错误是不同的。这促使需要开发一个神经网络来端到端地学习整个问题。 > 随着时间的推移，人们开始注意到如果我们使用神经网络，每个组件都可以做得更好。 ......但是，仍然存在问题。每个组件都有神经网络，但每个组件中的错误都不同，因此它们可能无法很好地协同工作。因此，这是尝试进入一个过程的基本动机，在这个过程中，您将整个模型作为一个大模型进行训练。 - Navdeep Jaitly，第 12 讲：语音处理的端到端模型，2017 年深度学习的自然语言处理（[幻灯片](http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture12.pdf)，[视频](https://www.youtube.com/watch?v=3MjIkWxXigM)）。 ## NLP 深度学习网络的类型 深度学习是一个很大的研究领域，并不是所有这些都与自然语言处理相关。 很容易陷入特定的优化方法或扩展到旨在提升表现的模型类型。 从高层次来看，深度学习有 5 种方法，在自然语言处理中应用最受关注。 他们是： 1. 嵌入层。 2. 多层感知器（MLP）。 3. 卷积神经网络（CNN）。 4. 循环神经网络（RNN）。 5. 循环神经网络（ReNN）。 ## NLP 中的问题类型 深度学习不会解决自然语言处理或人工智能问题。 迄今为止，深度学习方法已经在自然语言处理的更广泛的问题中进行了评估，并在一小部分上取得了成功，其中成功表明表现或能力达到或高于之前使用其他方法的可能性。 重要的是，那些深度学习方法取得最大成功的领域是一些面向最终用户，具有挑战性且可能更有趣的问题。 5 个例子包括： * 词表示法和意思。 * 文本分类。 * 语言建模。 * 机器翻译。 * 语音识别。 ## 进一步阅读 如果您要深入了解，本节将提供有关该主题的更多资源。 * [自然语言处理神经网络模型入门](https://arxiv.org/abs/1510.00726)，2015。 * [自然语言处理中的神经网络方法](http://amzn.to/2eScGtY)，2017。 * [Stanford CS224n：深度学习的自然语言处理](http://web.stanford.edu/class/cs224n/)，2017 ## 摘要 在这篇文章中，您发现了深度学习神经网络对自然语言处理的承诺。 具体来说，你学到了： * 深度学习自然语言处理的承诺。 * 关于 NLP 深度学习的承诺，从业者和研究科学家必须说些什么。 * 自然语言处理的关键深度学习方法和应用。 你有任何问题吗？ 在下面的评论中提出您的问题，我会尽力回答。