深度学习「nature论文，NoebookLM」

09 May, 2025

来源： Deep learning

日期： 2015年5月28日

作者： Yann LeCun, Yoshua Bengio, Geoffrey Hinton

概述：

这份评论文章全面介绍了深度学习，强调了其在克服传统机器学习方法局限性方面的能力。文章解释了深度学习的核心概念，例如表示学习、多层架构和反向传播算法。它还深入探讨了不同类型的深度神经网络，如卷积神经网络（ConvNets）和循环神经网络（RNNs），并讨论了它们在图像识别、语音识别和自然语言处理等各个领域的成功应用。作者也展望了深度学习的未来，强调了无监督学习、深度学习与强化学习的结合以及机器推理的潜力。

主要主题和重要思想：

• 深度学习作为一种表示学习方法： 文章的核心思想之一是深度学习自动学习数据表示的能力，这与需要人工设计特征提取器的传统机器学习方法不同。

  • 引文：

    “表示学习是一组方法，它允许机器输入原始数据，并自动发现检测或分类所需的表示。深度学习方法是多层表示的表示学习方法，通过组合简单的非线性模块获得，每个模块将一个层次（从原始输入开始）的表示转换为更高、稍微更抽象的层次的表示。”

  • 引文：

    “深度学习的关键之处在于这些特征层不是由人类工程师设计的：它们是通过通用学习程序从数据中学习的。”

• 多层架构和反向传播的重要性： 深度学习网络由多个处理层组成，这些层通过反向传播算法进行训练。反向传播算法计算损失函数对网络权重的梯度，并用于调整权重以最小化误差。

  • 引文：

    “深度学习允许由多个处理层组成的计算模型学习具有多个抽象层次的数据表示。这些方法极大地提高了语音识别、视觉对象识别、对象检测以及药物发现和基因组学等许多其他领域的现有技术水平。”

  • 引文：

    “多层架构可以通过简单的随机梯度下降进行训练。只要模块是其输入和内部权重的相对平滑函数，就可以使用反向传播过程计算梯度。”

• 卷积神经网络 (ConvNets) 及其在图像处理中的成功： ConvNets 专门设计用于处理多维数组数据，例如图像。它们利用局部连接、共享权重和池化等概念来有效提取层次化特征并实现对图像变换的不变性。

  • 引文：

    “卷积神经网络 (ConvNet) 更容易训练，并且比相邻层之间完全连接的网络泛化能力更好。在神经网络失宠的时期，它取得了许多实际成功，最近已被计算机视觉社区广泛采用。”

  • 引文：

    “ConvNets 旨在处理以多维数组形式出现的数据，例如由三个 2D 数组组成的彩色图像，其中包含三个颜色通道中的像素强度。”

  • 引文：

    “自 2000 年代初以来，ConvNets 已成功应用于图像中的对象和区域的检测、分割和识别。”

  • 事实： 应用于 ImageNet 竞赛中的深度卷积网络在对象识别的错误率上几乎减半，导致计算机视觉领域的革命。

• 循环神经网络 (RNNs) 及其在序列数据处理中的应用： RNNs 设计用于处理序列输入，如语音和语言。它们通过维护一个包含过去序列信息的状态向量来实现这一点。LSTM（长短期记忆）网络是 RNNs 的一种变体，在学习长期依赖关系方面特别有效。

  • 引文：

    “对于涉及序列输入的任务，如语音和语言，通常最好使用 RNNs。”

  • 引文：

    “RNNs 处理输入序列一次一个元素，在其隐藏单元中维护一个‘状态向量’，隐式地包含所有过去序列元素的信息。”

  • 引文：

    “LSTM 网络已证明比传统 RNNs 更有效，特别是当它们在每个时间步具有多层时，使得整个语音识别系统可以从声学一直到转录中的字符序列。”

• 深度学习在自然语言处理 (NLP) 中的影响： 深度学习，特别是 RNNs 和词向量的使用，极大地改进了 NLP 任务，如语言建模、机器翻译、话题分类和情感分析。

  • 引文：

    “深度学习已在各种自然语言理解任务中取得了非常有前景的结果，特别是话题分类、情感分析、问答和语言翻译。”

  • 引文：

    “从文本中学习的词向量表示现在在自然语言应用中非常广泛使用。”

  • 引文：

    “这种相当简单的机器翻译方法已迅速与现有技术水平竞争，这引发了对理解句子是否需要类似于使用推理规则操作内部符号表达式的疑问。”

• 训练技术和挑战： 文章讨论了训练深度网络的实际方面，包括随机梯度下降和整流线性单元 (ReLU) 的使用。它还提到了克服早期深度网络训练困难的进展，例如局部最小值的担忧。

  • 引文：

    “在实践中，大多数从业者使用一种称为随机梯度下降 (SGD) 的过程。”

  • 引文：

    “目前，最受欢迎的非线性函数是整流线性单元 (ReLU)，它只是半波整流器 f(z) = max(z, 0)。”

  • 引文：

    “在实践中，对于大型网络来说，糟糕的局部最小值很少是问题。无论初始条件如何，系统几乎总能达到质量非常相似的解决方案。”

• 未来的方向： 作者预测，深度学习将继续在人工智能领域取得重大进展。他们强调了无监督学习在发现世界结构中的潜力，深度学习与强化学习在视觉和决策任务中的结合，以及开发能够结合表示学习和复杂推理的系统。

  • 引文：

    “我们认为，深度学习在不久的将来会取得更多成功，因为它需要很少的人工工程，因此可以轻松利用计算和数据量的增加。”

  • 引文：

    “尽管我们在这篇评论中没有重点关注它，但我们预计无监督学习在长期内会变得更加重要。”

  • 引文：

    “最终，人工智能的重大进展将通过结合表示学习和复杂推理的系统来实现。”

关键事实和发现：

• 深度学习在图像识别、语音识别、药物发现、基因组学和自然语言处理等多个领域取得了最先进的成果。
• ImageNet 2012 竞赛是深度卷积网络在计算机视觉领域广泛采用的关键事件，错误率几乎减半。
• LSTM 网络是改进 RNNs 学习长期依赖关系的关键架构创新。
• 词向量，作为分布式表示的一种形式，捕获了单词之间的语义关系。
• 神经图灵机和记忆网络是增强 RNNs 的方法，使其能够执行需要推理和符号操作的任务。
• GPU 的出现显著加快了深度网络的训练。

总结：

这篇评论文章清晰地阐述了深度学习作为一种强大的机器学习范式，它能够自动学习复杂数据的层次化表示。ConvNets 和 RNNs 等特定的架构在各自的领域中取得了巨大的成功。反向传播和随机梯度下降等训练技术使得训练这些深层模型成为可能。虽然仍然存在挑战，例如在处理长期依赖关系方面，但 LSTM 和其他记忆增强模型的进展正在解决这些问题。作者对深度学习的未来，特别是无监督学习、与强化学习的结合以及实现机器推理的潜力持乐观态度。这篇评论是理解深度学习基础及其在推动现代人工智能应用方面的关键作用的重要资源。

详细时间线

• 1950年代末:
  • 1957: Frank Rosenblatt 发表 Perceptron 的技术报告。
  • 1958: O.G. Selfridge 发表关于 Pandemonium 的论文，这是一个学习范式。
• 1960年代: 人们了解到线性分类器只能将输入空间划分为简单的区域（半空间）。
• 1970年代 - 1980年代:
  • 1974: Paul Werbos 在哈佛大学的博士论文中独立发现了反向传播（backpropagation）的思想。
  • 1985: David B. Parker 发表了关于学习逻辑（Learning Logic）的报告，独立发现了反向传播。
  • 1985: Yann LeCun 发表了一篇关于不对称阈值网络学习过程的论文，独立发现了反向传播。
  • 1986: David E. Rumelhart, Geoffrey E. Hinton 和 Ronald J. Williams 在《Nature》杂志上发表了“Learning representations by back-propagating errors”的论文，这篇论文推广了反向传播算法。
• 1980年代后期:
  • 1989: Alex Waibel 和同事使用时间延迟神经网络（TDNNs）进行语音识别，这是一维卷积神经网络的早期形式。
  • 1989: Léon Bottou 和同事在说话人无关的孤立数字识别任务中进行了时间延迟网络和动态时间规整的实验。
• 1990年代:
  • 1990: Yann LeCun 和同事发表了一篇关于使用反向传播网络进行手写数字识别的论文，展示了卷积网络在分类低分辨率手写数字图像方面的应用。
  • 1991: David J. Hubel 和 Torsten N. Wiesel 发表了关于猫视觉皮层感受野的论文，为卷积网络提供了神经科学的启发。
  • 1991: Bettina Boser, Eva Sackinger, John Bromley, Yann LeCun 和 Lawrence Jackel 发表了一篇关于具有可编程拓扑结构的模拟神经网络处理器的论文。
  • 1991: Daniel J. Felleman 和 David C. Van Essen 发表了关于灵长类大脑皮层分布式分层处理的论文，为卷积网络提供了神经科学的启发。
  • 1994: Ronan Vaillant, Christophe Monrocq 和 Yann LeCun 发表了一篇关于图像中物体定位的新方法论文。
  • 1994: Yoshua Bengio, Patrick Simard 和 Paolo Frasconi 发表论文，指出使用梯度下降学习长期依赖关系是困难的。
  • 1995: Jeffrey Weston, Soumith Chopra 和 Antoine Bordes 提出了记忆网络（memory networks）。
  • 1995: Sepp Hochreiter 发表了关于动态神经网络的文凭论文，指出了梯度消失和爆炸的问题。
  • 1995: Yann LeCun, Léon Bottou, Yoshua Bengio 和 Patrick Haffner 发表了关于基于梯度的学习应用于文档识别的概述论文，展示了如何将神经网络（特别是卷积网络）与搜索或推理机制结合起来。该系统在1990年代末被部署用于阅读美国超过10%的支票。
  • 1997: Sepp Hochreiter 和 Jürgen Schmidhuber 引入了长短期记忆（LSTM）循环网络，解决了循环网络的长期依赖问题。
  • 1997: Steve Lawrence, C. Lee Giles, Ah Chung Tsoi 和 Andrew D. Back 发表了一篇关于使用卷积神经网络进行人脸识别的论文。
• 1990年代末: 神经网络和反向传播在很大程度上被机器学习社区放弃。
• 2000年代早期: 卷积网络开始成功应用于图像中的物体检测、分割和识别，尤其是在有相对丰富标注数据的任务上。
• 2001: Yoshua Bengio, Réjean Ducharme 和 Pascal Vincent 引入了神经概率语言模型，学习将词符号转换为词向量或词嵌入。
• 2004: Christian Garcia 和 Michael Delakis 发表了一篇关于用于快速鲁棒人脸检测的卷积人脸查找器论文。
• 2005:
  • Geoffrey E. Hinton 发表了一篇关于大脑是哪种图形模型（graphical model）的论文。
  • Fei Ning 和同事发表了一篇关于从视频自动对发育胚胎进行表型分析的论文。
  • Yoshua Bengio, Olivier Delalleau 和 Nicolas Le Roux 发表论文，讨论了局部核机器在高可变函数上的诅咒。
• 2006:
  • 加拿大高级研究院（CIFAR）召集了一群研究人员，复兴了对深度前馈网络的兴趣。他们引入了无需标注数据的无监督学习过程，用于创建特征检测器层。
  • Geoffrey E. Hinton, Simon Osindero 和 Yee-Whye Teh 引入了一种新颖有效的训练非常深层神经网络的方法，通过使用受限玻尔兹曼机的无监督学习过程逐层预训练。
  • Yoshua Bengio, Pascal Lamblin, Dan Popovici 和 Hugo Larochelle 发表报告，证明了参考文献[32]中引入的无监督预训练方法显著提高了在测试数据上的性能。
  • Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra 和 Yann LeCun 发表论文，关于使用基于能量的模型高效学习稀疏表示。
  • Geoffrey E. Hinton 和 Ruslan Salakhutdinov 发表论文，使用神经网络降低数据维度。
• 2007:
  • Léon Bottou 和 Olivier Bousquet 发表了关于大规模学习权衡的论文。
  • Michael Osadchy, Yann LeCun 和 Mark Miller 发表了关于使用基于能量的模型协同进行人脸检测和姿态估计的论文。
  • Holger Schwenk 发表了一篇关于连续空间语言模型的论文。
• 2008:
  • Pascal Vincent, Hugo Larochelle, Yoshua Bengio 和 Pierre-Antoine Manzagol 发表论文，关于使用去噪自编码器提取和组合鲁棒特征。
  • George Lakoff 和 Mark Johnson 出版了《Metaphors We Live By》。
• 2009:
  • Ruslan Salakhutdinov 和 Geoffrey Hinton 发表论文，关于深度玻尔兹曼机。
  • Andrew Hadsell 和同事发表了一篇关于用于自主越野驾驶的长距离视觉学习的论文。
  • Raia Raina, Anand Madhavan 和 Andrew Y. Ng 发表论文，使用图形处理器进行大规模深度无监督学习。
  • 无监督预训练方法首次应用于语音识别，取得了突破性成果。
• 2010:
  • Koray Kavukcuoglu 和同事发表论文，关于学习用于视觉识别的卷积特征层次结构。
  • Konrad Gregor 和 Yann LeCun 发表论文，学习稀疏编码的快速近似。
  • Srinivas C. Turaga 和同事发表论文，卷积网络可以学习生成用于图像分割的亲和图。
• 2011:
  • Raúl Collobert 和同事发表了一篇关于几乎从零开始的自然语言处理的论文。
  • Xin Glorot, Antoine Bordes 和 Yoshua Bengio 发表论文，表明如果隐藏层由 ReLU 组成，则非常深层神经网络的监督训练会快得多。
  • Kai Sheng Tai, Richard Socher, Christopher D. Manning 和 Andrew Y. Ng 发表论文，使用递归神经网络解析自然场景和自然语言。
  • Ilya Sutskever, James Martens 和 Geoffrey E. Hinton 发表论文，使用循环神经网络生成文本。
• 2012:
  • Jürgen Schmidhuber 和同事发表了一篇关于用于交通标志分类的多列深度神经网络的论文。
  • Andreas Ciresan, U. Meier, J. Masci 和 Jürgen Schmidhuber 发表了一篇关于用于交通标志分类的多列深度神经网络的论文。
  • Pierre Sermanet, Koray Kavukcuoglu, Soumith Chintala 和 Yann LeCun 发表论文，使用无监督多阶段特征学习进行行人检测。
  • Andrew L. Maas, Quoc V. Le, Tran Do 和 Geoffrey Hinton 发表论文，关于用于声学建模的深度神经网络在语音识别中的应用。这篇由主要语音识别实验室联合发表的论文总结了深度学习在语音识别任务上取得的突破。
  • George E. Dahl, Dong Yu, Li Deng 和 Anoop Acero 发表论文，关于用于大词汇量语音识别的上下文依赖预训练深度神经网络。
  • Convolutional Neural Networks (ConvNets) 应用于 ImageNet 竞赛，取得了惊人的结果，错误率几乎减半。这导致了计算机视觉领域的革命，ConvNets 成为了几乎所有识别和检测任务的主要方法。
  • Ilya Sutskever 在多伦多大学完成了关于训练循环神经网络的博士论文。
  • Camille Farabet, Clément Couprie, Laurent Najman 和 Yann LeCun 发表论文，使用多尺度特征学习、纯度树和最优覆盖进行场景解析。
  • Thiago Ciodaro, D. Deva, J. de Seixas 和 D. Damazio 发表论文，使用基于拓扑量热信息和神经网络进行在线粒子检测。
• 2013:
  • Yoshua Bengio, Aaron Courville 和 Pascal Vincent 发表了关于表示学习的综述。
  • Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado 和 Jeff Dean 发表论文，关于词和短语的分布式表示及其组合性。
  • Razvan Pascanu, Tomas Mikolov 和 Yoshua Bengio 发表论文，关于训练循环神经网络的困难性。
  • Tara N. Sainath, Abdel-rahman Mohamed, Brian Kingsbury 和 Bhuvana Ramabhadran 发表论文，关于用于 LVCSR 的深度卷积神经网络。
  • Pierre Sermanet, David Eigen, Xiang Zhang, Koray Kavukcuoglu, Michaël Mathieu, Rob Fergus 和 Yann LeCun 发表论文，关于使用卷积网络进行集成识别、定位和检测。
  • Adam Coates, Blake Carpenter, Honglak Lee, Pieter Abbeel, Andrew Y. Ng 发表论文，大规模深度学习：使用高效并行计算实现图像识别。
  • Alex Graves, Abdel-rahman Mohamed 和 Geoffrey Hinton 发表论文，使用深度循环神经网络进行语音识别。
  • Camille Farabet, Clément Couprie, Laurent Najman 和 Yann LeCun 发表了一篇关于场景标注的分层特征学习的论文。
  • Yann LeCun, Koray Kavukcuoglu 和 Clément Couprie 发表了一篇关于用于目标识别、定位和检测的深入学习特征层次结构的教程。
• 2014:
  • Jason Ma, Richard P. Sheridan, Andrew Liaw, George E. Dahl 和 Vincent Svetnik 发表论文，将深度神经网络作为定量结构-活性关系的方法。
  • Michael Leung, Ho Yi Xiong, Leo J. Lee 和 Brendan J. Frey 发表论文，深度学习组织特异性剪接代码。
  • Ho Yi Xiong 和同事发表论文，人类剪接代码揭示了疾病遗传决定因素的新见解。
  • Antoine Bordes, Sainbayar Sukhbaatar, Jason Weston 和 Nicolas Usunier 发表论文，关于用于大规模机器学习的高效和可扩展方法。
  • Dzmitry Bahdanau, KyungHyun Cho 和 Yoshua Bengio 发表论文，通过联合学习对齐和翻译进行神经机器翻译。
  • Tomas Mikolov, Quoc V. Le 和 Ilya Sutskever 发表论文，用于统计机器翻译的序列到序列学习。
  • Guillaume Alain 和 Yoshua Bengio 发表论文，关于深度学习对建模和生成复杂数据的指数级增益。
  • James Tompson, Arm Govilkar, Siddharth Sukhwani, Yih-farn Chen, Andreas Terzidis, Jason Pelegris, Mark Miller, George Papcun 和 Yann LeCun 发表论文，关于人体姿态估计的卷积网络和图模型的联合训练。
  • Christian Szegedy 和同事发表论文，关于使用卷积网络进一步深入。
  • Sainbayar Sukhbaatar, Antoine Bordes, Joseph Cabani, David Lopez-Paz 和 Jason Weston 发表论文，关于使用基于梯度的随机推理进行大规模变分学习。
  • Alex Graves, Greg Wayne 和 Ivo Danihelka 提出了神经图灵机（Neural Turing Machines）。
  • Jason Weston, Soumith Chopra 和 Antoine Bordes 提出了记忆网络（Memory Networks）。
  • Jason Weston, Antoine Bordes, Soumith Chopra 和 Tomas Mikolov 提出了一个问答任务的数据集。
  • Carl Vondrick, Deniz Yuret, James Tompson 和 Michael J. Black 发表了一篇关于从图像序列中学习动态模型的论文。
  • Christian F. Cadieu 和同事发表论文，深度神经网络在核心视觉物体识别方面与灵长类 IT 皮层的表示相当。
  • Yangqing Jia, Evan Shelhamer, Forrest Nelson, Scott Tyree, Jonathan Long, Darrell Darrell 和 Trevor Darrell 发表论文，关于 Caffe：快速开放式深度学习框架。
  • Yihui Liao, Shengxiang Yuan 和 Baoxin Li 发表论文，关于使用深度学习进行视频理解。
  • Adam Paszke, Scott Chintala, Soumith Chintala 和 Yann LeCun 发表论文，关于从图像序列中学习模型动力学的论文。
  • Pierre Sermanet 和同事发表论文，关于 OverFeat：使用卷积网络进行集成识别、定位和检测。
  • Ross Girshick, Jeff Donahue, Trevor Darrell 和 Jitendra Malik 发表论文，关于用于准确物体检测和语义分割的丰富特征层次结构。
  • Karen Simonyan 和 Andrew Zisserman 发表论文，关于用于大规模图像识别的非常深层卷积网络。
  • Yann LeCun, Koray Kavukcuoglu 和 Clément Couprie 发表了一篇关于用于目标识别、定位和检测的深入学习特征层次结构的教程。
  • Jason Tompson, Ross Goroshin, Arjun Jain, Yann LeCun 和 Christian Bregler 发表论文，使用卷积网络进行高效物体定位。
  • Yaniv Taigman, Ming Yang, Marc’Aurelio Ranzato 和 Lior Wolf 发表论文，关于 DeepFace：弥合人脸验证与人类水平性能之间的差距。
  • Nikhil Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever 和 Ruslan Salakhutdinov 发表论文，Dropout：一种防止神经网络过拟合的简单方法。
  • Yoshua Dauphin 和同事发表论文，在高维非凸优化中识别和攻击鞍点问题。
  • Anna Choromanska 和同事发表论文，多层网络的损失曲面。
  • Günter F. Montufar, Razvan Pascanu, KyungHyun Cho 和 Yoshua Bengio 发表论文，关于深度神经网络的线性区域数量。
  • Diederik Kingma, Danilo Rezende, Shakir Mohamed 和 Max Welling 发表论文，使用深度生成模型进行半监督学习。
  • Jimmy Ba, Volodymyr Mnih 和 Koray Kavukcuoglu 发表论文，使用视觉注意力进行多目标识别。
  • Ilya Sutskever, Oriol Vinyals 和 Quoc V. Le 发表论文，使用神经网络进行序列到序列学习。
  • Oriol Vinyals, Alexander Toshev, Samy Bengio 和 Dumitru Erhan 发表论文，关于 Show and Tell：神经图像字幕生成器。
• 2015:
  • Volodymyr Mnih 和同事发表论文，通过深度强化学习实现人类水平控制。
  • Krzysztof Xu 和同事发表论文，关于 Show, Attend and Tell：使用视觉注意力的神经图像字幕生成。
  • Szymon Kaliszyk, Josef Urban, Jirˇí Vyskocˇil, Geoff Sutcliffe 和 Jan Vrbicky´ 发表了一篇关于使用卷积神经网络进行定理证明的论文。
• 本文发表 (2015年6月): Yann LeCun, Yoshua Bengio 和 Geoffrey Hinton 在《Nature》杂志上发表了关于深度学习的综述。文章总结了深度学习在图像识别、语音识别、自然语言处理等领域的最新进展和潜力。

主要人物列表

• Yann LeCun: 本文的主要作者之一，Facebook AI Research 的负责人。他在卷积神经网络和反向传播算法方面做出了重要贡献，尤其是在文档识别等领域的实际应用方面。也是加拿大高级研究院（CIFAR）的成员。
• Yoshua Bengio: 本文的主要作者之一，蒙特利尔大学教授，MILA (Quebec AI Institute) 的科学总监。他在深度学习、表示学习、循环神经网络以及无监督学习方面做出了重要贡献。也是加拿大高级研究院（CIFAR）的成员。
• Geoffrey Hinton: 本文的主要作者之一，谷歌公司以及多伦多大学教授。他在神经网络、深度学习和反向传播算法方面做出了开创性贡献，是深度学习领域的“教父”之一。他的研究复兴了人们对深度网络的兴趣，并引入了有效的预训练方法。
• Frank Rosenblatt: 发明了感知机（Perceptron），是神经网络研究的早期先驱。
• Paul Werbos: 独立发现了反向传播算法。
• David B. Parker: 独立发现了反向传播算法。
• David E. Rumelhart: 与 Hinton 和 Williams 共同发表了关于反向传播的具有影响力的论文，推广了该算法。
• Ronald J. Williams: 与 Rumelhart 和 Hinton 共同发表了关于反向传播的具有影响力的论文。
• Alex Waibel: 在使用时间延迟神经网络（TDNNs）进行语音识别方面做出了早期贡献。
• Léon Bottou: 与 LeCun, Bengio 和 Haffner 共同发表了关于基于梯度的学习应用于文档识别的概述论文，并在机器学习和优化方面做出了贡献。
• David J. Hubel & Torsten N. Wiesel: 神经科学家，他们的研究关于视觉皮层为卷积网络提供了启发。
• Daniel J. Felleman & David C. Van Essen: 神经科学家，他们的研究关于灵长类大脑皮层为卷积网络提供了启发。
• Sepp Hochreiter: 与 Schmidhuber 共同发明了 LSTM，并指出了循环神经网络训练中的梯度问题。
• Jürgen Schmidhuber: 与 Hochreiter 共同发明了 LSTM，并在神经网络和深度学习领域做出了贡献。
• Ruslan Salakhutdinov: 与 Hinton 共同研究了深度玻尔兹曼机和使用神经网络降低数据维度。
• Marc’Aurelio Ranzato: 在能量模型和深度学习方面做出了贡献。
• Pierre Sermanet: 在行人检测和物体识别方面做出了贡献。
• Koray Kavukcuoglu: 在无监督特征学习和卷积网络方面做出了贡献。
• Ilya Sutskever: 在循环神经网络、序列到序列学习和文本生成方面做出了重要贡献。
• Tomas Mikolov: 在神经语言模型、词向量和循环神经网络方面做出了贡献。
• Quoc V. Le: 在序列到序列学习和分布式表示方面做出了贡献。
• George E. Dahl: 在将深度学习应用于语音识别方面做出了重要贡献。
• Dong Yu: 在将深度学习应用于语音识别方面做出了重要贡献。
• Li Deng: 在将深度学习应用于语音识别方面做出了重要贡献。
• Antoine Bordes: 在记忆网络和问答系统方面做出了贡献。
• Jason Weston: 在记忆网络和问答系统方面做出了贡献。
• Alex Graves: 在循环神经网络、LSTM 和神经图灵机方面做出了贡献。
• Volodymyr Mnih: 在深度强化学习和视觉注意力方面做出了贡献。
• Oriol Vinyals: 在序列到序列学习和图像字幕生成方面做出了贡献。

概述

本文档提供了对源材料中关于深度学习主题的关键概念、术语和架构的详细回顾。深度学习是机器学习的一个子集，利用具有多层非线性处理单元的神经网络来学习数据的分层表示。本指南旨在帮助您巩固对源材料的理解。

核心概念

• 深度学习： 一种机器学习方法，通过多层处理来学习数据的分层表示。它允许系统从原始数据中自动发现所需的表示。
• 表示学习： 允许机器以原始数据为输入，并自动发现用于检测或分类的表示的方法。深度学习是表示学习的一种形式。
• 神经网络： 一种计算模型，由相互连接的“神经元”或单元组成，这些单元组织成层。深度学习架构通常是多层神经网络。
• 监督学习： 一种机器学习任务，其中模型从标记数据（输入-输出对）中学习。大多数深度学习应用都属于监督学习。
• 无监督学习： 一种机器学习任务，其中模型从未标记数据中学习数据的结构或分布。源材料提到这在未来会变得更加重要。
• 层： 神经网络中的一组单元，它们处理前一层或原始输入中的信息。深度学习网络通常有多个隐藏层。
• 特征提取器： 在传统机器学习中，这是一个将原始数据转换为学习子系统可以使用的合适内部表示（特征向量）的组件。深度学习旨在自动学习这些特征。
• 特征向量： 表示输入数据的数值向量，用于机器学习模型。
• 权重： 神经网络中的可调节参数，它们是影响一个单元的输入如何影响下一个单元的输出的实数。训练过程会调整这些权重。
• 目标函数/损失函数： 度量模型输出与期望输出之间误差的函数。训练的目的是最小化此函数。
• 梯度向量： 指示目标函数在权重空间中变化最陡的方向的向量。
• 梯度下降： 一种优化算法，用于调整模型的权重，以减小目标函数的值。
• 随机梯度下降 (SGD)： 一种用于训练神经网络的梯度下降变体，它使用训练数据的小批量计算梯度。
• 训练集： 用于训练机器学习模型的数据集。
• 测试集： 一个独立的数据集，用于评估训练模型的泛化能力。
• 泛化能力： 模型对在训练过程中未见过的新输入产生合理响应的能力。
• 线性分类器： 一种简单的分类模型，它通过计算特征向量组件的加权和来划分输入空间。它们的局限性在于只能创建简单的划分。
• 选择性-不变性两难： 在模式识别中，既要对重要的变化（选择性）敏感，又要对不重要的变化（不变性）不敏感（不变性）的需求之间的冲突。深度学习通过分层学习来解决这个问题。
• 反向传播： 一种计算神经网络中权重梯度的算法，它使用链式法则从输出层向后传播误差。它是训练多层神经网络的关键。
• 非线性函数： 应用于神经网络单元输入结果的函数，它们允许网络学习复杂的非线性关系。ReLU、sigmoid 和 tanh 是示例。
• 整流线性单元 (ReLU)： 一种常用的非线性函数，定义为 f(z) = max(0, z)。
• 隐藏单元/隐藏层： 神经网络中不在输入层或输出层中的单元或层。它们学习输入数据的中间表示。
• 鞍点： 目标函数景观中梯度为零的点，它不是局部最小值或最大值。源材料表明在大网络中，鞍点通常不会导致训练问题。
• 局部最小值： 目标函数景观中，权重的小幅变化不会减小误差的配置。源材料认为在大网络中，糟糕的局部最小值很少出现。
• 卷积神经网络 (ConvNet)： 一种专门用于处理多维数组数据（如图像）的深度学习架构。它们利用局部连接、共享权重和池化。
• 特征图： 在卷积层中，是一组单位检测到相同特征的不同位置的输出。
• 滤波器组： 在卷积层中，连接前一层特征图的局部块的一组权重。所有单位在一个特征图中共享同一个滤波器组。
• 离散卷积： 卷积层执行的数学运算，用于在输入的各个部分检测相同的模式。
• 池化层： 在 ConvNet 中，用于通过合并局部单位的输出来减小表示的维度并创建对小偏移和失真的不变性的层。最大池化是一种常见的池化类型。
• 循环神经网络 (RNN)： 一种设计用于处理顺序输入（如文本和语音）的神经网络架构。它们通过维护隐单元中的“状态向量”来记忆序列的历史信息。
• 状态向量： 在 RNN 中，隐单元中包含有关序列过去元素信息的向量。
• 消失梯度问题/爆炸梯度问题： 在训练 RNN 时，反向传播的梯度在多个时间步长内变得非常小或非常大，从而难以学习长期依赖关系。
• 长短期记忆 (LSTM)： 一种具有特殊隐单元（记忆单元）的 RNN 架构，其设计旨在更好地学习和记忆长期依赖关系。它们使用门控机制来控制信息的流动。
• 记忆单元： LSTM 网络中的一个特殊单元，其行为类似于累加器，用于记住输入信息。
• 神经图灵机： 一种增强了“磁带式”内存的 RNN 架构，网络可以选择读取或写入该内存。
• 记忆网络： 一种增强了关联内存的常规网络，用于存储和检索信息以执行任务，如问答。
• 分布式表示： 一种表示数据的方式，其中每个概念由多个激活的组件表示，并且每个组件参与表示多个概念。词向量是分布式表示的一个例子。
• 词向量/词嵌入： 从文本数据中学习的单词的分布式表示，其中语义相关的单词在向量空间中彼此靠近。
• N-gram： 统计语言建模中的一种传统方法，它基于计数短符号序列（长度为 N）的出现频率。它们不使用分布式表示，并且难以泛化到未见过的单词序列。
• 强化学习： 一种机器学习范式，其中智能体通过与环境交互并接收奖励或惩罚来学习执行动作。

测验

请用 2-3 句话回答以下问题。

1. 传统机器学习技术在处理原始数据时面临的主要限制是什么？
2. 表示学习与传统机器学习方法有何不同？
3. 深度学习如何通过多层表示来实现学习复杂函数？
4. 在监督学习的训练过程中，目标函数的作用是什么？
5. 随机梯度下降 (SGD) 如何应用于训练深度学习模型？
6. 为什么线性分类器不足以解决像图像识别这样的复杂问题？
7. 反向传播算法在训练多层神经网络中的作用是什么？
8. 卷积神经网络 (ConvNet) 的关键思想是什么，它们如何利用自然信号的特性？
9. 循环神经网络 (RNN) 主要用于哪些类型的任务，它们如何处理顺序输入？
10. 分布式表示，例如词向量，在自然语言处理中有什么优势？

问答环节

1. 根据源材料，为什么在大网络中糟糕的局部最小值 rarely are a problem？
2. 源材料提到了哪些成功的深度学习应用领域？
3. 解释 ConvNet 中的卷积层和池化层的功能及其协同作用。
4. LSTM 网络如何解决传统 RNN 在学习长期依赖关系方面的困难？
5. 源材料如何描述深度学习与符号推理之间的对比？

词汇表

• 深度学习 (Deep Learning): 一类使用多层处理单元来学习数据表示的机器学习技术。
• 表示学习 (Representation Learning): 允许机器自动发现用于任务的输入数据表示的方法。
• 监督学习 (Supervised Learning): 一种机器学习范式，其中模型从标记输入-输出数据中学习。
• 无监督学习 (Unsupervised Learning): 一种机器学习范式，其中模型从未标记数据中学习结构或模式。
• 卷积神经网络 (Convolutional Neural Network - ConvNet): 一种专门用于处理网格状数据（如图像）的神经网络架构，利用卷积层和池化层。
• 循环神经网络 (Recurrent Neural Network - RNN): 一种设计用于处理序列数据（如文本和时间序列）的神经网络，通过维护内部状态来记忆历史信息。
• 反向传播 (Backpropagation): 一种用于训练神经网络的算法，通过计算目标函数相对于模型权重的梯度来实现。
• 整流线性单元 (Rectified Linear Unit - ReLU): 一种常用的非线性激活函数，定义为 max(0, x)。
• 随机梯度下降 (Stochastic Gradient Descent - SGD): 一种优化算法，通过使用训练数据的小批量计算梯度来更新模型权重。
• 分布式表示 (Distributed Representation): 一种表示数据的方式，其中概念由多个激活的特征的组合来表示。
• 词向量/词嵌入 (Word Vector/Word Embedding): 学习到的单词的分布式表示，其中语义相似的单词在向量空间中彼此靠近。
• 长短期记忆 (Long Short-Term Memory - LSTM): 一种特殊类型的 RNN 架构，旨在解决传统 RNN 中的消失/爆炸梯度问题，从而更好地学习长期依赖关系。
• 神经图灵机 (Neural Turing Machine): 一种通过外部内存组件增强的 RNN。
• 记忆网络 (Memory Network): 一种结合了神经网络和可寻址记忆组件的模型。

测验答案键

1. 传统机器学习技术在处理原始数据时面临的主要限制是什么？ 传统机器学习技术在处理原始数据时存在局限性，需要人类工程师投入大量时间和领域专业知识来设计特征提取器，将原始数据转换为适合学习系统使用的表示。
2. 表示学习与传统机器学习方法有何不同？ 表示学习允许机器自动发现原始数据所需的表示，而无需人工设计特征提取器，这使得处理自然数据更加容易和有效。
3. 深度学习如何通过多层表示来实现学习复杂函数？ 深度学习通过分层叠加简单的非线性模块来实现这一点，每个模块将较低层的表示转换为较高层更抽象的表示。通过足够多的层，可以学习非常复杂的输入-输出函数。
4. 在监督学习的训练过程中，目标函数的作用是什么？ 在监督学习中，目标函数衡量模型输出与期望输出之间的误差。训练过程的目标是调整模型的内部参数（权重），以最小化此误差或目标函数的值。
5. 随机梯度下降 (SGD) 如何应用于训练深度学习模型？ 随机梯度下降通过在训练数据的小批量（而不是整个训练集）上计算平均梯度，并相应地调整权重来实现训练。这个过程会重复进行，直到目标函数的值平均不再下降。
6. 为什么线性分类器不足以解决像图像识别这样的复杂问题？ 线性分类器只能将输入空间划分为非常简单的区域，例如由超平面分隔的半空间。而图像识别等任务需要对输入的微小细节敏感，同时对位置或照明等不重要变化不敏感，这需要更复杂的非线性划分能力。
7. 反向传播算法在训练多层神经网络中的作用是什么？ 反向传播程序用于计算目标函数相对于神经网络权重的梯度。它通过使用链式法则从输出层向后传播误差梯度来实现这一点，从而允许有效地更新所有层的权重。
8. 卷积神经网络 (ConvNet) 的关键思想是什么，它们如何利用自然信号的特性？ ConvNet 的关键思想是局部连接、共享权重、池化和使用许多层。它们利用了数组数据中局部值高度相关和局部统计信息对位置不变的特性。
9. 循环神经网络 (RNN) 主要用于哪些类型的任务，它们如何处理顺序输入？ RNN 主要用于处理序列输入任务，例如语音和语言。它们通过在隐单元中维护一个“状态向量”来逐个处理序列元素，这个向量隐式地包含了序列所有过去元素的信息。
10. 分布式表示，例如词向量，在自然语言处理中有什么优势？ 分布式表示，如词向量，将每个单词与一个实值特征向量关联起来，其中语义相关的单词在向量空间中彼此靠近。这使得模型能够泛化到语义相关的单词序列，而传统方法（如 N-grams）由于将单词视为原子单元而无法做到这一点。