技术平台 科技经济市场
浅析 BP 神经网络算法的改进和优化
储琳琳 郭纯生
（防灾科技学院，北京 101601）
摘 要：本文简要介绍了 BP 神经网络的缺点，着重强调了 BP 神经网络的算法改进，并且，利用 Mat lab 仿真了各种改进算
法的学习速度，从结果看改进后的 BP 神经网络能较好地解决针 BP 算法学习速度慢的缺点。
关键词：神经网络;BP 算法;学习速度
中图分类号：TN430 文献标识码：B
最小值点，但是这个碗的表面凹凸不平的，因而在对其进行训练
的过程中，可能陷入某一小谷区，而这一小谷区产生一个局部最 小值，由此点向各个方向变化均使误差增加，以至于使训练无法 逃出这一局部最小值。
为了解决 BP 网络训练的以上缺点，人们提出了多种有益 的改进。改进方法主要有两类：第一类是基于启发式学习方法的 改进算法：如附加动量的 BP 算法、自适应学习率 BP 算法、弹性 BP 算法等；第二类是基于数值优化的改进算法：如共扼梯度法、 拟牛顿法和 Levenberg- Marquardt(LM)法等。这些方法在不同程 度上提高了学习速度，加快了网络的收敛，避免陷入局部极小值 [2][3] 。2 各种改进算法的学习速度的比较
在 Matlab6.5 中，通过调用 newff 实现网络的创建，然后调用 函数 train 对所创建网络 newff 进行训练。设定系统总误差为 0.01，步长为 0.02，网络训练 2000 次，或直到满足性能要求时停 止训练，否则增加训练次数。表 1 给出几种算法收敛速度的比 较：表中的数据均为 6 次平均值。
表 1 启发式学习方法的收敛速度比较
1 BP 算法的缺点
虽然神经网络模型已成功应用于模式识别、函数逼近、时间 序列预测等领域。并且 BP 网络也是目前应用最为广泛的一种 神经网络模型，它具有思路清晰，结构严谨，可操作性强等优点。 但是由于 BP 学习算法仅改变网络的连接值和阀值，不改变网 络的拓扑结构， 因此 BP 网络在处理具体问题时还存在如下问 [1] 题：1.1 网络的麻痹现象。在网络训练过程中，加权调得较大可 能迫使所有的或大部分节点的加权和输出较大，从而操作在 S 压缩函数的饱和区，此时函数在其导数非常小的区域，即函数的 导数值很小或趋近 0，由于在计算加权修正量的公式中，这使得 调节几乎停顿下来，通常为了避免这种现象，将训练速率减小， 但又增加了训练时间。
1.2 网络学习收敛速度比较慢。由于 BP 算法的学习复杂性 是样本规模的指数函数，如果网络规模较大或学习样本较多时， 往往需要很长的学习时间，甚至学习无法完成，这个主要由于学 习速率太小所造成的；可采用变化的学习速率或者自适应的学 习速率加以改进。
1.3 易陷入局部极小值。BP 算法可以使网络权值收敛到一 个解，但它并不能保证所求解为误差超平面的最小解，很可能是 局部极小解；这是因为 BP 算法采用的是梯度下降法，训练是从 某一起点沿误差函数的斜面逐渐达到误差的极小值，对于复杂 的网络，其误差函数为空间的曲面，就像一个碗，其碗底是
均取如（13）的三角隶属度函数。
根据建模步骤中的第二步建立规则库，得模糊规则如下表：
表 2：模糊规则
!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
本文应用模糊控制的基本理论和方法建立的模糊控制模 型，与用经济学和统计学原理所建立的模型相比较，可以更简单 方便地对一类具有模糊性相关因素的经济现象进行比较准确的 预测。模糊控制充分考虑了专家的知识经验，对具有模糊因素的 系统具有其它控制无法比拟的优越性。随着模糊控制理论的发 展与完善，模糊控制在自然科学和工程实践中也将得到越来越 广泛的应用。
（注：表中黑体的规则是由数据对生成，其它来自专家经验） 现已知 2008 年该商品的广告促销费为 77 百万美元，信 誉评价为高，则根据本文建立的模糊控制预测模型,应用 Matlab [6]
参考文献：
[1]Robert S.pindyck Daniel L.Rubinfeld.Economet ric Model and Economic Forecast.[M].中国机械工业出版社,1981.
[2]Ramu.Ramanthan. 应用经济计量学[M].中国机械工业出版社.
[3]王立新.王迎军译.模糊系统与模糊控制教程[M].清华大学出版社, 2003. [4]杨纶标,高英仪.模糊数学原理及应用[M].华南理工大学出版社,2003. [5]Xiao- Jun Zeng and Madan G.Singh.Approximation Theory of Fuzzy System—SISO Case [J].IEEE transactions on fuzzy systems vol 2 No.2 May 1994.
[6]吴晓莉,林哲辉.Matlab 辅助模糊系统设计[M].西安电子科技大学出版 社,2002.
编程计算 2008 年的销售收入为 79998 百万美元。经调查知 2008 年该商品真正收入为 80853，相对误差为 1.06％，易见预测 结果比较好。
注：本文为了说明所设计模糊控制模型如何工作，为简便起 见，所选实例考虑因素较少，在具体运用该模型进行经济预测 时，可考虑更全面，多选几个相关因素作为输入变量，则预测结 果将会更好。
4 小结
髷
2009 年第 4 期
科技经济市场
技术平台
的总数目），在选择算法对网络进行训练时，可遵循以下原则[4]：
3.1 在对训练速度要求不太高，内存存储量有限时，可使用 弹性 BP 算法。
3.2 在对训练速对要求较高的情况下，网络参数较少时，可 以使用牛顿法或 Levenberg- Marquardt 法；在网络参数较多时， 需要考虑存储量问题时，可以选择共轭梯度法。
表 2 数值优化算法的收敛速度比较
从表 1 和表 2 可以看出：
2.1 基于启发式学习方法的改进算法的收敛速度依次加快， 其中弹性 BP 算法的收敛速度要比前两种方法快得多。
2.2 基于标准数值优化方法的各种改进算法均比基于启发 式学习方法的改进算法在收敛速度上有很大的提高，其中 Levenberg- Marquardt 法的收敛速度最快。
下面是在相同条件下，标准 BP 算法，弹性 BP 算法和 Levenberg- Marquardt 法对本电路进行网络训练的学习误差变化 曲线。
图 2 弹性 BP 算法学习误差曲线
图 1 标准 BP 算法学习误差曲线
3 结论
由实验结果可知：
在基于启发式学习方法的改进算法中，弹性 BP 算法的收 敛速度快，算法并不复杂，也不需要消耗更多的内存空间，在实 际应用中，是一种行之有效的算法。
在 基 于 数值优化方法的各种改进算法中， Levenberg- Marquardt 法和拟牛顿法因为要近似计算海森矩阵，
需 要 较 大 的 存储量，通常收敛速度快 。 其 中 ，
Levenberg- Marquardt 法结合了梯度下降法和牛顿法的优点，性 能更优，收敛速度最快，对于中等规模的 BP 神经网络具有最快 的收敛速度，而且它很好地利用了 MATLAB 中对于矩阵的运算 的优势，因此它的特点很适合在 MATLAB 中得到体现；但是要 存储海森矩阵的值，所以该算法的最大缺点就是占用的内存量 太大。共轭梯度法所需存储量较小，但收敛速度较前两种方法 慢。所以，考虑到网络参数的数目（即网络中所有的权值和偏差
图 3 Levenberg- Marquardt 法学习误差曲线
参考文献： [1]史忠科.神经网络控制理论[M].西北工业大学出版社，1997(11). [2]虞和济,陈长征等.基于神经网络的智能诊断[M].北京:冶金工业出版 社，2000.
[3]朱大奇.电子设备故障诊断原理与实践[M].北京:电子工业出版社， 2004. [4]王永骥,涂健.神经元网络控制[M]北京:机械工业出版社,1998.
作者简介：储琳琳(1982- )，女，安徽亳州人，硕士，主要研究方向为人工智能。
2009 年第 4 期
髸
