深度学习算法：从何而来，因何而智

来源：中为咨询www.zwzyzx.com 【日期：2016-09-30 11:01:20】【打印】【关闭】

相关报告

深度学习是人工神经网络算法的进一步发展。人类的思维是从知觉的抽象-归纳概括开始，先形成低层级的抽象概念，在此基础上进行逐级抽象，最终形成低级-中级-高级的抽象链。深度学习正是对于这一思维过程的模拟，它通过分层结构，用低层次特征的组合形成更加抽象的高层次特征或属性，进而从输入的海量数据中自发地总结出规律，举一反三泛化至从未见过的案例中。

深度学习与机器视觉概念的关系

深度学习通过分层结构模拟人类逐级抽象思维

深度学习中的“深度”是相对于早期神经网络的结构而言的，相对于这些带有一层或不带隐层节点的模型，深度学习采用了包含多个隐层的模型，隐层上的神经元用于提取特征，因此也称为特征检测器。层数的增加能够更加紧凑高效地表达现实中的高度非线性问题，带来了更好的泛化能力。然而在使用传统的反向传播和梯度下降算法来训练深层神经网络时，会遇到局部极值和梯度扩散的问题，导致无法进行有效的训练。同时，深度神经网络拥有大量模型参数，必须使用海量数据进行训练，否则会产生严重的过拟合，如何获取这些数据成为一个难题。深度神经网络的训练运算量极大，早期的计算机硬件难以提供足够的运算能力。

2006，Hinton在《Science》上发表一篇文章，他认为多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，为深度神经网络的训练带来了希望。

逐层初始化的训练步骤：

1)自下而上逐层完成各层的调优，每次仅调整一层。当完成低层的初始化后，再进行更高一层的调优。这一步采用的数据为不带标记的数据，为非监督的学习方式；

2)第1步已经实现了各层的初步调优，此时在最高层加入一个分类器，初步完成了深度学习神经网络的构建。该步骤需要采用带有标记的数据进行训练，在训练过程中逐渐完成对整个系统的微调。

2012年，Hinton带领学生在目前最大的图像数据库ImageNet上，对分类问题取得了惊人的结果，将Top5错误率由26%大幅降低至15%，掀起了对深度学习的研究热潮。此时，互联网、计算机和半导体技术的不断进步使得海量训练数据和大量廉价计算力的获得不再遥不可及。

目前，深度学习在语音识别、图像识别和自然语言处理几个主要领域都获得了突破性的进展，可以说深度学习是目前为止最接近人类大脑的智能学习方法：

1)语音识别：深度学习用深层模型替换声学模型中的混合高斯模型（GaussianMixtureModel,GMM），把错误率降低了30%左右；

2)图像识别：通过构造深度卷积神经网络（CNN），将Top5错误率由26%大幅降低至15%，又通过加大加深网络结构，进一步降低到11%；

3)自然语言处理：深度学习基本获得了与其他方法水平相当的结果，但可以免去繁琐的特征提取步骤。

深度学习算法使用对海量数据自动学习不断优化内部参数，特别适合于最佳特征值的提取以及分类器的迭代优化，它让设计人员不再挖空心思的去提取和选择特征，为图像识别算法的实现提供了新思路。和大部分传统机器学习算法相比较，深度学习算法在图像识别和语音识别上的识别率可达到传统算法难以企及的程度，因此在各个行业中取得了广泛的应用。

深度学习在各个行业有着广泛的应用

常见的深度学习算法包括：自动编码器、稀疏自动编码器、限制波尔兹曼机，深度置信网络、卷积神经网络（CNN），循环神经网络等。其中，CNN使用局部感知和权值共享减少了计算所需的参数，而权值共享使得同一特征平面上的所有神经元参数相同，因此能够实现并行学习。CNN中的每一个卷积层都紧跟着一个用来求局部平均的池化层，通过池化对卷积操作的结果进行降维并降低过拟合的可能性。CNN的这些特性大大降低了计算的复杂度，特别适合用来识别位移、缩放及其他形式扭曲不变性的二维图形，在图像识别领域取得了广泛的应用。

用于肖像分割的卷积神经网络