孔康
- 作品数：4 被引量：20H指数：3
- 供职机构：中国人民解放军陆军军官学院更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- L1正则化机器学习问题求解分析被引量：11
- 2011年
- 以稀疏学习为主线,从多阶段、多步骤优化思想的角度出发,对当前流行的L1正则化求解算法进行分类,比较基于次梯度的多步骤方法、基于坐标优化的多阶段方法,以及软L1正则化方法的收敛性能、时空复杂度和解的稀疏程度。分析表明,基于机器学习问题特殊结构的学习算法可以获得较好的稀疏性和较快的收敛速度。
- 孔康汪群山梁万路
- 关键词：L1正则化稀疏性
- 加权边缘损失函数的代价敏感支持向量机被引量：3
- 2011年
- 已有的非平衡数据分类算法主要采取直接对损失函数进行加权的方法.文中提出一种加权边缘的hinge损失函数并证明它的贝叶斯一致性,得到加权边缘支持向量机算法(WMSVM),并给出类似于SMO的求解方法.实验结果表明WMSVM在一些数据库上是有效的,从而从理论和实验上说明基于加权边缘的损失函数方法是已有代价敏感方法的一种较好补充.
- 陶卿梁万路孔康汪群山
- 关键词：支持向量机
- 一种基于Comid的非光滑损失随机坐标下降方法被引量：3
- 2013年
- 坐标下降方法以简洁的操作流程、低廉的计算代价和快速的实际收敛效果,成为处理大规模优化最有效的方法之一.但目前几乎所有的坐标下降方法都由于子问题解析求解的需要而假设损失函数的光滑性.本文在结构学习的框架下,在采用Comid方法求解随机挑选单变量子问题的基础上,提出了一种新的关于非光滑损失的随机坐标下降方法.理论分析表明本文所提出的算法在一般凸条件下可以得到Ο(t-(1/2)/t)的收敛速度,在强凸条件下可以得到Ο(lnt/t)的收敛速度.实验结果表明本文所提出的算法对正则化Hinge损失问题实现了坐标优化预期的效果.
- 陶卿朱烨雷罗强孔康
- 基于次梯度的L1正则化Hinge损失问题求解研究被引量：4
- 2012年
- Hinge损失函数是支持向量机(support vector machines,SVM)成功的关键,L1正则化在稀疏学习的研究中起关键作用.鉴于两者均是不可导函数,高阶梯度信息无法使用.利用随机次梯度方法系统研究L1正则化项的Hinge损失大规模数据问题求解.首先描述了直接次梯度方法和投影次梯度方法的随机算法形式,并对算法的收敛性和收敛速度进行了理论分析.大规模真实数据集上的实验表明,投影次梯度方法对于处理大规模稀疏数据具有更快的收敛速度和更好的稀疏性.实验进一步阐明了投影阈值对算法稀疏度的影响.
- 孔康陶卿汪群山储德军
- 关键词：L1正则化稀疏性大规模数据
