国家教育部博士点基金(20015106002)
- 作品数：2 被引量：51H指数：2
- 相关作者：黄汉雄李炯城更多>>
- 相关机构：华南理工大学更多>>
- 发文基金：国家教育部博士点基金高等学校优秀青年教师教学科研奖励计划更多>>
- 相关领域：自动化与计算机技术化学工程更多>>
- 一种新的快速BP神经网络算法——QLMBP被引量：20
- 2006年
- 对反向传播(BP)算法中收敛速度最快的改进版本Levenberg-Marquardt BP(LMBP)进行了研究,找出了收敛速度的瓶颈:迭代控制参数的初始化会严重地影响到算法的迭代次数;涉及的矩阵求逆是每次迭代中最耗时的计算;如果每次迭代中的误差平方和没有变小,该次迭代可能需要很长时间.本文通过上下三角(LU)分解去除耗时的矩阵求逆,并采取一维搜索来加速目标函数值的下降,使得LMBP不再依赖于迭代控制参数,从而提出了一种快速神经网络算法QLMBP.QLMBP算法的收敛速度比LMBP算法快100倍左右.
- 李炯城黄汉雄
- 关键词：BP算法LEVENBERG-MARQUARDT算法
- 神经网络中LMBP算法收敛速度改进的研究被引量：38
- 2006年
- 文章对标准BP算法收敛慢的问题进行了分析,并针对其目前最快的改进版本Levenberg-MarquardtBP(LMBP)进行了深入研究,发现其中涉及的矩阵[JTJ+μkI]求逆是其收敛速度的瓶颈。通过使用LU分解法去除耗时的矩阵求逆运算,极大地减少了LMBP的计算量。此外,简化求增广MarquardtSensitivity矩阵的步骤,也在一定程度上减少了LMBP的计算量。笔者用MicrosoftVisualC++6编程实现了改进后的LMBP算法,发现对这两方面的改进,大大提高了收敛速度。文章对Matlab的基于最速下降的BP算法(Traingdx)、Matlab改进的LMBP算法(Trainlm)、LMBP和作者改进的LMBP(ILMBP)进行了大量的试验。结果发现,ILMBP的平均收敛速度比LMBP快约23倍,比Trainlm算法快约9倍。
- 李炯城黄汉雄
- 关键词：BP算法LEVENBERG-MARQUARDT算法LU分解
