本文针对前向网络 BP 算法存在的收敛速度慢,数值稳定性较差,网络学习困难等主要缺陷,提出用非线性优化理论中的 BFGS 方法构造学习速率阵(Learning RateMatrix,LRM),以替代原来的学习速率常数,并且输入一组样本改变一次权值向量.从而使网络训练时收敛速度极快,数值稳定性好且算法易并行化.文中对 LRM、BP、改进 BP 算法的收敛性、数值稳定性、计算复杂度等进行了讨论.对异或(XOR)问题和六位二进制数对称性判别问题进行了仿真比较,结果表明,对中、小型问题,LRM 算法的性能优于经典 BP 算法和改进 BP 算法.
