深度学习研究进展

被引：293

作者：

刘建伟

刘媛

罗雄麟

机构：

[1] 中国石油大学自动化研究所

来源：

计算机应用研究 | 2014年 / 31卷 / 07期

关键词：

深度学习; 神经网络; 模型; 表示; 堆栈; 预训练;

D O I：

暂无

中图分类号：

TP18 [人工智能理论];

学科分类号：

081104 ; 0812 ; 0835 ; 1405 ;

摘要：

鉴于深度学习的重要性,综述了深度学习的研究进展。首先概述了深度学习具有的优点,由此说明了引入深度学习的必要性;然后描述了三种典型的深度学习模型,包括卷积神经网络模型、深度信任网络模型和堆栈自编码网络模型,并对近几年深度学习在初始化方法、网络层数和激活函数的选择、模型结构、学习算法和实际应用这四个方面的研究新进展进行了综述;最后探讨了深度学习在理论分析、数据表示与模型、特征提取、训练与优化求解和研究拓展这五个方面中有待进一步研究解决的问题。

引用

页码：1921 / 1930+1942 +1942

页数：11

共 5 条

[1]

Flexible shaping: How learning in small steps helps[J] . Kai A. Krueger,Peter Dayan.Cognition . 2008 (3)

[2]

Semantic hashing[J] . Ruslan Salakhutdinov,Geoffrey Hinton.International Journal of Approximate Reasoning . 2008 (7)

[3]

Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J] . Kunihiko Fukushima.Biological Cybernetics . 1980 (4)

[4]

Spikeand-slab sparse coding forunsupervised feature discovery .2 Goodfellow I,Courville A,Bengio Y. NIPS Workshop on Challenges in Learning HierarchicalModels . 2011

[5]

Model-ing Human Motion Using Binary Latent Variables .2 TAYLOR G W,HINTON G E,ROWEIS S T. Advances in Neural Information Processing Systems . 2007

← 1 →