收缩

QQ在线客服

QQ在线客服

  • 400-891-3318
  • 0755-84275866
  • 0755-84275899
  • 中为报告
  • 中为资讯
  • 中为数据
  • 企业名录
 深圳·北京·上海
中国最为专业的产业市场调查研究咨询机构
中为实力鉴证  咨询流程  公司资质
您当前位置:首页 > 行业分析 > IT通讯 >  正文

多层神经网络遭遇寒冬

来源:中为咨询www.zwzyzx.com 【日期:2016-08-16 14:13:36】【打印】【关闭】
相关报告
  • 数据更新中...
多层神经网络难以训练,相关研究受到冷落。尽管在早期神经网络一般最多也就做到2到3个隐层,但却已经遇到了当时几乎无法解决的过拟合、局部最优、梯度扩散等问题。算法本身面临的解决能力瓶颈,导致神经网络逐渐陷入寒冬。

①、欠拟合/过拟合问题。如果可用来训练的数据量不够,或者在神经网络中节点(神经元)过少,
学习效果就会比较粗糙,无法很好地表达样本数据的规律,称之为“欠拟合”;而如果隐层节点太多,一方面由于计算能力限制会导致学习训练所需要的时间过长,另一方面会使得训练得到的模型
泛化能力很差,仅能对训练数据集中的实例进行判断,无法处理未遇到过的案例,这种“过犹不及”的情形称之为“过拟合”。
图6:
以“树叶分类”为例看“过拟合”与“欠拟合”

 
②、局部最优问题。后来人们选择增加隐层的数量,利用每一层相对少一些的神经元数量来拟合更
加复杂的函数。但是,随着神经网络层数的加深,越来越容易陷入局部最优难以自拔从而导致找不
到全局最优。在训练神经网络寻找最优参数时常用的方法是寻找使得整体误差最小的方案,一般从
随机选定的一个初始位置出发,按照一定规则在其周围寻找使得误差变小到不能再小的点。但传统做法一旦陷入到如图所示的局部最优以后就会停止搜索,于是也就错过了全局最优的点。

随着层数增加,神经网络容易陷入局部最优

 
③、梯度扩散问题。另一个问题则是层数的增加导致在训练过程出现停滞、训练效果变差,在专业
术语中称之为“梯度扩散”。在训练神经网络时,一般都会将误差从靠近输出端的神经元向靠近输入端的神经元传递(即BP误差反向传播算法),通过不断迭代寻找使得误差最小的参数(前面提
过的权值、阈值等),但所使用的方法在多层神经网络中不稳定,经常在误差传播到中间某一层时罢工不再起作用,甚至会出现层数增加反而训练效果变差的情形。
本文地址:http://www.zwzyzx.com/show-336-224858-1.html
分享到:
相关资讯

合作媒体

定制出版

报告搜索

免责声明

  中为咨询所引述的资料是用于行业市场研究以及讨论和交流,并注明出处,部分内容是由相关机构提供。若有异议请及时联系本公司,我们将立即依据相关法律对文章进行删除或作相应处理。查看详细》》
关闭 中为咨询微博号
微信咨询