王玉军
- 作品数：4 被引量：2H指数：1
- 供职机构：中国人民解放军陆军军官学院更多>>
- 发文基金：国家自然科学基金安徽省自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 一种求解截断Hinge损失的软阈值坐标下降算法
- 2013年
- 有效地减少支持向量数目能够提高分类器的鲁棒性和精确性,缩短支持向量机(support vector machine,SVM)的训练和测试时间.在众多稀疏算法中,截断Hinge损失方法可以显著降低支持向量的数目,但却导致了非凸优化问题.一些研究者使用CCCP(concave-convex procedure)方法将非凸问题转化为多阶段凸问题求解,不仅增加了额外计算量,而且只能得到局部最优解.为了弥补上述不足,提出了一种基于CCCP的软阈值坐标下降算法.用坐标下降方法求解CCCP子阶段凸问题,提高计算效率;对偶SVM中引入软阈值投影技巧,能够减少更多的支持向量数目,同时选择合适的正则化参数可消除局部最优解的不良影响,提高分类器的分类精度.仿真数据库、UCI数据库和大规模真实数据库的实验证实了所提算法正确性和有效性.
- 朱烨雷王玉军罗强陶卿
- 关键词：支持向量CCCP软阈值
- 一种求解截断L1正则化项问题的坐标下降算法被引量：1
- 2014年
- L1正则化在稀疏学习的研究中起关键作用,使用截断L1正则化项往往可以获得更好的准确率,但却导致了非凸优化问题.目前,主要采用多阶段凸松弛(multi-stage convex relaxation,MSCR)算法进行求解,由于每一阶段都需要求解一个凸优化问题,计算代价较大.为了弥补上述不足,提出了一种求解截断L1正则化项非凸学习问题的坐标下降算法(Non-convex CD).该算法只需在多阶段凸松弛算法的每一阶段执行单步的坐标下降算法,有效降低了计算复杂性.理论分析表明所提出的算法是收敛的.针对Lasso问题,在大规模真实数据库作了实验,实验结果表明,Non-convex CD在取得和MSCR几乎相同准确率的基础上,求解的CPU时间甚至优于求解凸问题的坐标下降方法.为了进一步说明所提算法的性能,进一步研究了Non-convex CD在图像去模糊化中的应用问题.
- 王玉军高乾坤章显陶卿
- 关键词：非凸优化
- 基于交替方向乘子法的非光滑损失坐标优化算法被引量：1
- 2013年
- 交替方向乘子法(ADMM)在机器学习问题中已有一些实际应用。针对大规模数据的处理和非光滑损失凸优化问题,将镜面下降方法引入原ADMM批处理算法,得到了一种新的改进算法,并在此基础上提出了一种求解非光滑损失凸优化问题的坐标优化算法。该算法具有操作简单、计算高效的特点。通过详尽的理论分析,证明了新算法的收敛性,在一般凸条件下其具有目前最优的收敛速度。最后与相关算法进行了对比,实验结果表明该算法在保证解稀疏性的同时拥有更快的收敛速度。
- 高乾坤王玉军王惊晓
- 一种相关快速软阈值坐标下降算法
- 2013年
- 软阈值缩减迭代算法(ISTA)以其简单的操作流程成为了机器学习流行的优化算法,但是收敛速度比较慢,仅为o(1k)。快速软阈值缩减迭代算法(FISTA)通过加速技巧将收敛速度提高了一个数量级,达到了o(1k2)。然而,FISTA将特征向量每一维看成是独立同分布的,丢失了各维之间的相关性,会导致准确率下降和额外的时间开销。为了弥补上述的不足,文中提出了一种相关快速软阈值坐标下降算法(RFTCD)。通过大规模数据库实验证实了RFTCD的正确性和有效性。
- 王玉军
- 关键词：特征向量独立同分布
