高乾坤
- 作品数：8 被引量：30H指数：2
- 供职机构：中国人民解放军陆军军官学院更多>>
- 发文基金：国家自然科学基金安徽省自然科学基金更多>>
- 相关领域：自动化与计算机技术兵器科学与技术更多>>
- 一种具有最优收敛速度的正则化境面下降算法被引量：1
- 2014年
- Pegasos算法是求解大规模支持向量机问题的有效方法,在随机梯度下降过程中植入多阶段循环步骤,能使该算法得到最优的收敛速度O(1/T)。COMID算法是由镜面下降算法推广得到的正则化随机形式,可保证正则化项的结构,但对于强凸的优化问题,该算法的收敛速度仅为O(logT/T)。为此,在COMID算法中引入多阶段循环步骤,提出一种求解L1+L2混合正则化项问题的最优正则化镜面下降算法,证明其具有最优的收敛速度O(1/T),以及与COMID算法相同的稀疏性。在大规模数据库上的实验结果验证了理论分析的正确性和所提算法的有效性。
- 王惊晓高乾坤汪群山
- 关键词：稀疏性收敛速度
- 一种基于在线学习的弹道识别方法被引量：2
- 2014年
- 用SVM机器学习算法来解决弹道识别问题极大提高了识别精度,然而在处理过程中采用批处理优化方法很难缩短识别时间。考虑到实际中雷达捕获弹道数据是以在线的方式存在的,文中提出一种基于在线学习的弹道识别方法。仿真实验结果表明,在线算法在保证识别精度相当的情形下,大大的缩短了弹道识别时间。从而认为基于在线学习的识别方法是一种值得引进的弹道识别方法。
- 章显高乾坤陶卿
- 一种基于ADMM的非光滑损失在线优化算法被引量：1
- 2014年
- 交替方向乘子法(ADMM)在机器学习问题研究中已有一些高效的实际应用,但为了适应大规模数据的处理和求解非光滑损失凸优化问题,文中提出对原ADMM进行改进,得到了损失函数线性化的ADMM的在线优化算法。该在线算法相较原算法具有操作简单、计算高效等特点。通过详尽的理论分析,文中证明了新在线算法的收敛性,并得到其在一般凸条件下具有目前最优的Regret界以及随机收敛速度。最后在与当今流行在线算法的对比实验中验证了新在线算法的高效可行性。
- 高乾坤
- 一种求解截断L1正则化项问题的坐标下降算法被引量：1
- 2014年
- L1正则化在稀疏学习的研究中起关键作用,使用截断L1正则化项往往可以获得更好的准确率,但却导致了非凸优化问题.目前,主要采用多阶段凸松弛(multi-stage convex relaxation,MSCR)算法进行求解,由于每一阶段都需要求解一个凸优化问题,计算代价较大.为了弥补上述不足,提出了一种求解截断L1正则化项非凸学习问题的坐标下降算法(Non-convex CD).该算法只需在多阶段凸松弛算法的每一阶段执行单步的坐标下降算法,有效降低了计算复杂性.理论分析表明所提出的算法是收敛的.针对Lasso问题,在大规模真实数据库作了实验,实验结果表明,Non-convex CD在取得和MSCR几乎相同准确率的基础上,求解的CPU时间甚至优于求解凸问题的坐标下降方法.为了进一步说明所提算法的性能,进一步研究了Non-convex CD在图像去模糊化中的应用问题.
- 王玉军高乾坤章显陶卿
- 关键词：非凸优化
- 求解线性SVM的非精确步长搜索割平面方法被引量：1
- 2014年
- 割平面方法可高效求解线性支持向量机问题,其主要思路是通过不断添加割平面并利用精确线性搜索实现算法的加速和优化.针对其中的非光滑线性搜索问题,文中提出一种基于非精确步长搜索的加速割平面方法.该方法使用较少的迭代次数就能确定最优步长所在的子区间.在此基础上,用二点二次插值的闭式解逼近最优步长,从而较精确线性搜索方法速度更快、开销更小,且保持同样的收敛边界.大量实验表明,文中方法效率优于基于精确线性搜索的优化割平面方法,在一些数据库上的收敛速度甚至提升50%.
- 储德军陶安高乾坤姜纪远陶卿
- 关键词：凸优化线性支持向量机线性搜索
- 基于交替方向乘子法的非光滑损失坐标优化算法被引量：1
- 2013年
- 交替方向乘子法(ADMM)在机器学习问题中已有一些实际应用。针对大规模数据的处理和非光滑损失凸优化问题,将镜面下降方法引入原ADMM批处理算法,得到了一种新的改进算法,并在此基础上提出了一种求解非光滑损失凸优化问题的坐标优化算法。该算法具有操作简单、计算高效的特点。通过详尽的理论分析,证明了新算法的收敛性,在一般凸条件下其具有目前最优的收敛速度。最后与相关算法进行了对比,实验结果表明该算法在保证解稀疏性的同时拥有更快的收敛速度。
- 高乾坤王玉军王惊晓
- 求解AUC优化问题的对偶坐标下降方法被引量：1
- 2014年
- AUC被广泛作为衡量不平衡数据分类性能的评价标准.与二分类问题不同,AUC问题的损失函数由来自两个不同类别的样本对组成.如何提高其实际收敛速度,是一个值得研究的问题.目前的研究结果表明:使用reservoir sampling技术的在线方法(OAM)表现出很好的AUC性能,但OAM仍存在诸如收敛速度慢、参数选择复杂等缺点.针对AUC优化问题的对偶坐标下降(AUC-DCD)方法进行了系统的研究,给出3种算法,即AUC-SDCD,AUCSDCDperm和AUC-MSGD,其中,AUC-SDCD和AUC-SDCDperm与样本数目有关,AUC-MSGD与样本数目无关.理论分析指出,OAM是AUC-DCD的一种特殊情形.实验结果表明,AUC-DCD在AUC性能和收敛速度两方面均优于OAM.研究结果表明,AUC-DCD是求解AUC优化问题的首选方法.
- 姜纪远陶卿高乾坤储德军
- 关键词：AUC支持向量机
- 稀疏学习优化问题的求解综述被引量：22
- 2013年
- 机器学习正面临着数据规模日益扩大的严峻挑战,如何处理大规模甚至超大规模数据问题,是当前统计学习亟需解决的关键性科学问题.大规模机器学习问题的训练样本集合往往具有冗余和稀疏的特点,机器学习优化问题中的正则化项和损失函数也蕴含着特殊的结构含义,直接使用整个目标函数梯度的批处理黑箱方法不仅难以处理大规模问题,而且无法满足机器学习对结构的要求.目前,依靠机器学习自身特点驱动而迅速发展起来的坐标优化、在线和随机优化方法成为解决大规模问题的有效手段.针对L1正则化问题,介绍了这些大规模算法的一些研究进展.
- 陶卿高乾坤姜纪远储德军
- 关键词：L1正则化
