关于前馈多层神经网络多维函数逼近能力的一个定理
韦岗; 李华; 徐秉铮
华南理工大学无线电与自动控制研究所 广州 510641
A NOVEL THEOREM ON THE MULTI-DIMENSIONAL FUNCTION APPROXIMATION ABILITY OF FEED FORWARD MULTI-LAYER NEURAL NETWORKS
Wei Gang; Li Hua; Xu Bingzheng
South China University of Technology Guangzhou 510641
摘要 本文首次证明了前馈神经网络多维函数逼近能力的一个重要定理:当隐层神经元数目足够多时,其多维函数逼近能力与维数无关.也就是说我们只需研究其一维函数逼近能力,所得的结论完全适合于多维情形,该定理大大简化了前馈多层神经网络函数逼近问题的分析难度。本文还给出了该定理的一个应用。
关键词 :
神经网络 ,
函数逼近 ,
神经元特性函数 ,
前馈多层网络
Abstract :This paper presents a novel theorem on the multi-dimensional function approximation ability of feed forward multi-layer neural networks (FFMLNN), which states that the function approximation ability of FFMLNN is independent of the dimension of the function to be approximated when the number of the hidden units is sufficiently large. This theorem simplifies greatly the analysis of the function approximation ability of FFMLNN because one needs only to study the one dimensional function approximation ability of FFMLNN. An application of the proposed theorem is given.
Key words :
Neural networks
Function approximation
Neuron activation function
Feed forward neural networks
收稿日期: 1995-12-04
引用本文:
韦岗; 李华; 徐秉铮. 关于前馈多层神经网络多维函数逼近能力的一个定理[J]. 电子与信息学报, 1997, 19(4): 433-438 .
Wei Gang; Li Hua; Xu Bingzheng. A NOVEL THEOREM ON THE MULTI-DIMENSIONAL FUNCTION APPROXIMATION ABILITY OF FEED FORWARD MULTI-LAYER NEURAL NETWORKS. , 1997, 19(4): 433-438 .
链接本文:
http://jeit.ie.ac.cn/CN/ 或 http://jeit.ie.ac.cn/CN/Y1997/V19/I4/433
[1]
喻昕,许治健,陈昭蓉,徐辰华. 拉格朗日神经网络解决带等式和不等式约束的非光滑非凸优化问题 [J]. 电子与信息学报, 2017, 39(8): 1950-1955.
[2]
吴震东,王雅妮, 章坚武. 基于深度学习的污损指纹识别研究 [J]. 电子与信息学报, 2017, 39(7): 1585-1591.
[3]
张舸,张鹏远,潘接林,颜永红. 基于递归神经网络的语音识别快速解码算法 [J]. 电子与信息学报, 2017, 39(4): 930-937.
[4]
伍家松, 达臻,魏黎明,SENHADJI Lotfi,舒华忠. 基于分裂基-2/(2a )FFT算法的卷积神经网络加速性能的研究 [J]. 电子与信息学报, 2017, 39(2): 285-292.
[5]
王海,蔡英凤,贾允毅,陈龙, 江浩斌. 基于深度卷积神经网络的场景自适应道路分割算法 [J]. 电子与信息学报, 2017, 39(2): 263-269.
[6]
章雒霏,张铭,李晨. 一种新的语音和噪声活动检测算法及其在手机双麦克风消噪系统中的应用 [J]. 电子与信息学报, 2016, 38(8): 2020-2026.
[7]
季渊,陈文栋,冉峰,张金艺,David LILJA. 具有二维状态转移结构的随机逻辑及其在神经网络中的应用 [J]. 电子与信息学报, 2016, 38(8): 2099-2106.
[8]
侯志强,戴铂,胡丹,余旺盛,陈晨,范舜奕. 基于感知深度神经网络的视觉跟踪 [J]. 电子与信息学报, 2016, 38(7): 1616-1623.
[9]
王迎雪,赵胜辉,于莹莹,匡镜明. 基于受限玻尔兹曼机的语音带宽扩展 [J]. 电子与信息学报, 2016, 38(7): 1717-1723.
[10]
邬战军,牛敏,许冰,牛燕雄,耿天琪,张帆,满达. 基于谱回归特征降维与后向传播神经网络的识别方法研究 [J]. 电子与信息学报, 2016, 38(4): 978-984.
[11]
赵雄文,郭春霞,李景春. 基于高阶累积量和循环谱的信号调制方式混合识别算法 [J]. 电子与信息学报, 2016, 38(3): 674-680.
[12]
徐彬,陈渤,刘宏伟,金林. 基于注意循环神经网络模型的雷达高分辨率距离像目标识别 [J]. 电子与信息学报, 2016, 38(12): 2988-2995.
[13]
杜兰,刘彬,王燕,刘宏伟,代慧. 基于卷积神经网络的SAR图像目标检测算法 [J]. 电子与信息学报, 2016, 38(12): 3018-3025.
[14]
肖志涛,崔宁,吴骏,耿磊,张芳,温佳,童军,刘晓婷,杨嵩. 基于Hesse矩阵和多尺度分析的视网膜动静脉血管管径测量方法 [J]. 电子与信息学报, 2016, 38(11): 2871-2878.
[15]
邓赵红,陈俊勇,刘解放,王士同. 面向癫痫脑电图信号识别的径向基最小最大概率分类树 [J]. 电子与信息学报, 2016, 38(11): 2848-2855.