冯涣婷
- 作品数：3 被引量：18H指数：3
- 供职机构：中国矿业大学信息与电气工程学院更多>>
- 发文基金：教育部“新世纪优秀人才支持计划”国家自然科学基金霍英东基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于参数探索的期望最大化策略搜索被引量：4
- 2012年
- 针对随机探索易于导致梯度估计方差过大的问题,提出一种基于参数探索的期望最大化(Expectation-maximization,EM)策略搜索方法.首先,将策略定义为控制器参数的一个概率分布.然后,根据定义的概率分布直接在控制器参数空间进行多次采样以收集样本.在每一幕样本的收集过程中,由于选择的动作均是确定的,因此可以减小采样带来的方差,从而减小梯度估计方差.最后,基于收集到的样本,通过最大化期望回报函数的下界来迭代地更新策略参数.为减少采样耗时和降低采样成本,此处利用重要采样技术以重复使用策略更新过程中收集的样本.两个连续空间控制问题的仿真结果表明,与基于动作随机探索的策略搜索强化学习方法相比,本文所提方法不仅学到的策略最优,而且加快了算法收敛速度,具有较好的学习性能.
- 程玉虎冯涣婷王雪松
- 关键词：期望最大化
- 基于状态-动作图测地高斯基的策略迭代强化学习被引量：5
- 2011年
- 在策略迭代强化学习中,基函数构造是影响动作值函数逼近精度的一个重要因素.为了给动作值函数逼近提供合适的基函数,提出一种基于状态-动作图测地高斯基的策略迭代强化学习方法.首先,根据离策略方法建立马尔可夫决策过程的状态-动作图论描述;然后,在状态-动作图上定义测地高斯核函数,利用基于近似线性相关的核稀疏方法自动选择测地高斯核的中心;最后,在策略评估阶段利用基于状态-动作图的测地高斯核逼近动作值函数,并基于估计的值函数进行策略改进.10×10格子世界的仿真结果表明,与基于状态图普通高斯基和测地高斯基的策略迭代强化学习方法相比,本文所提方法能以较少的基函数、高精度地逼近具有光滑且不连续特性的动作值函数,从而有效地获得最优策略.
- 程玉虎冯涣婷王雪松
- 关键词：基函数策略迭代
- 一类基于谱方法的强化学习混合迁移算法被引量：10
- 2012年
- 在状态空间比例放大的迁移任务中,原型值函数方法只能有效迁移较小特征值对应的基函数,用于目标任务的值函数逼近时会使部分状态的值函数出现错误.针对该问题,利用拉普拉斯特征映射能保持状态空间局部拓扑结构不变的特点,对基于谱图理论的层次分解技术进行了改进,提出一种基函数与子任务最优策略相结合的混合迁移方法.首先,在源任务中利用谱方法求取基函数,再采用线性插值技术将其扩展为目标任务的基函数;然后,用插值得到的次级基函数(目标任务的近似Fiedler特征向量)实现任务分解,并借助改进的层次分解技术求取相关子任务的最优策略;最后,将扩展的基函数和获取的子任务策略一起用于目标任务学习中.所提的混合迁移方法可直接确定目标任务部分状态空间的最优策略,减少了值函数逼近所需的最少基函数数目,降低了策略迭代次数,适用于状态空间比例放大且具有层次结构的迁移任务.格子世界的仿真结果验证了新方法的有效性.
- 朱美强程玉虎李明王雪松冯涣婷
- 关键词：谱图理论
