|
|
|
| 基于受限玻尔兹曼机的专家乘积系统的一种改进算法 |
| 沈卉卉①②③ 李宏伟*①③ |
| ①(中国地质大学数理学院 武汉 430074) ②(湖北经济学院信息管理与统计学院 武汉 430205) ③(中国地质大学地球内部多尺度成像湖北省重点实验室 武汉 430074) |
|
|
|
|
摘要 深度学习在高维特征向量的信息提取和分类中具有很强的能力，但深度学习训练时间也比较长，超参数搜索空间大，从而导致超参数寻优较困难。针对此问题，该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法。先将专家乘积系统原理与RBM算法相结合，采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题，为此将其更新方式进行改进；为加快网络收敛和提高模型识别能力，采取在 RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中的0~9的手写数字体的识别和CMU-PIE数据库的人脸识别实验，提出的算法减少了学习时间，提高了超参数寻优的效率，进而构建的深层网络能获得较好的分类效果。试验结果表明，提出的改进算法在处理高维大量的数据时，计算效率有较大提高，其算法有效。
|
|
| 关键词 ：
深度学习,
专家乘积,
神经网络,
受限玻尔兹曼机,
动量
|
|
收稿日期: 2017-09-18
出版日期: 2018-06-20
|
|
|
| [1] |
柳欣,李鹤洋,钟必能, 杜吉祥. 结合有监督联合一致性自编码器的跨音视频说话人标注[J]. 电子与信息学报, 2018, 40(7): 1635-1642. |
| [2] |
刘勤让,刘崇阳. 利用参数稀疏性的卷积神经网络计算优化及其FPGA加速器设计[J]. 电子与信息学报, 2018, 40(6): 1368-1374. |
| [3] |
吕晓琪, 吴凉, 谷宇, 张明, 李菁. 基于深度卷积神经网络的低剂量CT肺部去噪[J]. 电子与信息学报, 2018, 40(6): 1353-1359. |
| [4] |
谢金宝,侯永进,康守强,李佰蔚,张霄. 基于语义理解注意力神经网络的多元特征融合中文文本分类[J]. 电子与信息学报, 2018, 40(5): 1258-1265. |
| [5] |
朱建清, 曾焕强, 杜永兆, 雷震, 郑力新, 蔡灿辉. 基于新型三元卷积神经网络的行人再辨识算法[J]. 电子与信息学报, 2018, 40(4): 1012-1016. |
| [6] |
郭立民, 寇韵涵, 陈涛, 张明. 基于栈式稀疏自编码器的低信噪比下低截获概率雷达信号调制类型识别[J]. 电子与信息学报, 2018, 40(4): 875-881. |
| [7] |
陈曦, 杨健. 动态频谱接入中基于最小贝叶斯风险的稳健频谱预测[J]. 电子与信息学报, 2018, 40(3): 734-742. |
| [8] |
徐志红, 方震, 陈贤祥, 覃力, 杜利东, 赵湛, 刘杰昕 . 一种基于多参数融合的无袖带式连续血压测量方法的研究[J]. 电子与信息学报, 2018, 40(2): 353-362. |
| [9] |
孙晓,彭晓琪,胡敏,任福继. 基于多维扩展特征与深度学习的微博短文本情感分析[J]. 电子与信息学报, 2017, 39(9): 2048-2055. |
| [10] |
周阳,吴德伟. 基于网格细胞到位置细胞转换的位置估计模型[J]. 电子与信息学报, 2017, 39(9): 2272-2276. |
| [11] |
喻昕,许治健,陈昭蓉,徐辰华. 拉格朗日神经网络解决带等式和不等式约束的非光滑非凸优化问题[J]. 电子与信息学报, 2017, 39(8): 1950-1955. |
| [12] |
吴震东,王雅妮, 章坚武. 基于深度学习的污损指纹识别研究[J]. 电子与信息学报, 2017, 39(7): 1585-1591. |
| [13] |
侯志强,王鑫,余旺盛,戴铂,金泽芬芬. 基于自适应深度稀疏网络的在线跟踪算法[J]. 电子与信息学报, 2017, 39(5): 1079-1087. |
| [14] |
张天骐,马宝泽,强幸子,全盛荣. 一种引入自适应动量项的变步长混沌信号盲分离算法[J]. 电子与信息学报, 2017, 39(4): 908-914. |
| [15] |
张舸,张鹏远,潘接林,颜永红. 基于递归神经网络的语音识别快速解码算法[J]. 电子与信息学报, 2017, 39(4): 930-937. |
|
|
|
|
