李晨溪 作品数:8 被引量:105 H指数:5 供职机构: 解放军理工大学 更多>> 发文基金: 江苏省自然科学基金 国家自然科学基金 中国博士后科学基金 更多>> 相关领域: 自动化与计算机技术 理学 军事 更多>>
基于云推理模型的深度强化学习探索策略研究 被引量:12 2018年 强化学习通过与环境的交互学得任务的决策策略,具有自学习与在线学习的特点。但"交互试错"的机制也往往导致了算法的运行效率较低、收敛速度较慢。知识包含了人类经验和对事物的认知规律,利用知识引导智能体(agent)的学习,是解决上述问题的一种有效方法。该文尝试将定性规则知识引入到强化学习中,通过云推理模型对定性规则进行表示,将其作为探索策略引导智能体的动作选择,以减少智能体在状态-动作空间探索的盲目性。该文选用OpenAI Gym作为测试环境,通过在自定义的"CartPole-v2"中的实验,验证了提出的基于云推理模型探索策略的有效性,可以提高强化学习的学习效率,加快收敛速度。 李晨溪 曹雷 陈希亮 张永亮 徐志雄 彭辉 段理文关键词:知识 陆军作战指挥实体动态决策建模问题研究 被引量:7 2018年 为满足现代战争陆军各级各类指挥所开展方案模拟论证与计划仿真评估的需要,在领域专家经验以及军事规则的支持下,提出了一种基于动态贝叶斯网络的指挥实体动态决策建模方法。通过对动态决策规则的结构化描述,构建了陆战场态势的动态贝叶斯网络模型,基于贝叶斯网络推理模型进行态势相关估计,实现对陆战场的实时变化态势动态分析、理解与判断,可以较好地体现作战系统的复杂自适应的特性,为解决陆军指挥实体动态决策建模问题提供了一种较好的解决办法。 康凯 张永亮 李晨溪 潘金堂关键词:陆军作战 贝叶斯网络 自由度对鱼类自主游动数值模拟结果的影响 被引量:1 2014年 采用自适应浸没边界方法,数值模拟了仿生鱼在不同自由度个数情况下的游动,对比分析了自由度个数对仿生鱼受力、能耗、推进效率以及尾涡结构的影响。研究结果表明,推进效率随着自由度个数的增加而略有降低;当仿生鱼在自主游动过程中没有侧向运动速度时,侧向受力幅值会大幅度提高。另外,当采用"六自由度模型"进行模拟时,仿生鱼很难沿直线运动,从而导致定量分析的困难。 王亮 王明 付强 李晨溪关键词:侧向力 充分发展湍流标度律的数学模型 2014年 为了解湍流小尺度结构的特征,以及湍流雷诺应力模型的建立,开展了充分发展湍流的标度律研究。提出了建立数学模型来研究湍流标度律的方法,可以方便地提取湍流的标度指数。结果表明:该理论不再需要"惯性区的存在"或"大雷诺数"的假设,不再依赖于标度区间的确定,标度指数完全可以通过计算确定下来,新模型确定的标度指数与ESS的标度指数几乎完全一致,误差在1%以内,且物理意义更明确。 付强 李晨溪 史汉生 王玮关键词:湍流 标度律 数学模型 基于知识的深度强化学习研究综述 被引量:38 2017年 作为解决序贯决策的机器学习方法,强化学习采取持续的"交互-试错"机制,实现智能体(Agent)与环境的不断交互,从而学得完成任务的最优策略,契合了人类提升智能的行为决策方式。知识作为一种包含了经验、价值观、认知规律以及专家见解等要素的结构化信息,应用于强化学习可以有效提高Agent的学习效率,降低学习难度。鉴于此,本文以强化学习的基本理论为起点,对深度强化学习以及基于知识的深度强化学习研究成果进行了系统性的总结与梳理。 李晨溪 曹雷 张永亮 陈希亮 周宇欢 段理文关键词:知识 关于G-P算法计算混沌关联维的讨论 被引量:21 2014年 关联维是描述混沌系统的一个重要的特征不变量,而G-P算法是目前计算关联维数的一个主要的算法,但是在使用G-P算法时,由于许多参量的选取存在很大的主观性,不同的选取会得到不同的结果,这个问题以前一直没有得到较好的解决。以具有解析结果Lorenz系统进行实例分析,指出采用G-P算法计算关联维数时,应对相关参数进行慎重和细致的选取,否则得出的结论将缺乏说服力。研究结果表明,不同的范数选取对关联维的计算影响很小、时间序列数据量大小的选取应以能够获得稳定的分数维为准则、重构相空间嵌入维数不能随意指定,但也不是越大越好,对Lorenz系统而言最大取到10较为合适。 付强 李晨溪 张朝曦关键词:混沌 关联维数 参数选择 基于重抽样优选缓存经验回放机制的深度强化学习方法 被引量:24 2018年 针对深度强化学习算法中经验缓存机制构建问题,提出一种基于TD误差的重抽样优选缓存机制;针对该机制存在的训练集坍塌现象,提出基于排行的分层抽样算法进行改进,并结合该机制对已有的几种典型基于DQN的深度强化学习算法进行改进.通过对Open AI Gym平台上Cart Port学习控制问题的仿真实验对比分析表明,优选机制能够提升训练样本的质量,实现对值函数的有效逼近,具有良好的学习效率和泛化性能,收敛速度和训练性能均有明显提升. 陈希亮 曹雷 李晨溪 徐志雄 何明基于ESS模型的云状自动识别方法 被引量:3 2016年 为了提高云图自动识别的准确率,提出了一种新的云状自动识别方法。基于湍流标度理论,将湍流的标度特征应用于云图的自动识别和分类中,对云图的灰度数据进行扩展自相似(ESS)模型标度分析,提取云图的标度指数特征,利用不同云系的标度特征识别云图。选用支持向量机作为分类器,对波状云、层状云、积状云、卷云和晴空5种云图进行识别。研究结果表明,通过提取ESS模型标度特征进行典型云状识别的准确率接近或超过90%。由于具有较强的显著性,基于湍流标度理论提取云图特征对云状识别方法是一个很好的补充。 李晨溪 付强 邓芾关键词:特征提取 标度律