深圳市科技计划项目(JCYJ20120615101127404)
- 作品数：5 被引量：6H指数：2
- 相关作者：董小社王寅峰朱正东陈衡魏洪昌更多>>
- 相关机构：西安交通大学深圳信息职业技术学院深圳职业技术学院更多>>
- 发文基金：深圳市科技计划项目国家自然科学基金国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 采用资源划分的云环境下Hadoop资源许可调度方法被引量：1
- 2015年
- 针对云计算环境中Hadoop平台由于节点计算能力差异、多样混合负载共存等原因而出现的性能不佳的问题,提出一种采用资源划分的资源许可方法。该方法在云计算环境下通过减少资源浪费或负载过重等情况的出现来提高系统性能。该方法采集资源信息并推测任务资源需求,根据可用计算资源和任务需求动态划分、调度资源;使用与资源无耦合的资源许可启动任务并控制任务数量调节资源利用率以适应云环境。使用该方法对比公平调度器在国家高性能计算中心(西安)进行测试发现:单作业在资源竞争环境中优于公平调度器的静态结果;混合负载在3种测试环境中完成时间分别平均减少了27.5%、37.1%和50.98%,性能显著提升。实验结果表明,该方法可以适应负载资源需求和可用计算资源的变化,灵活划分计算资源,解决Hadoop在云环境中的性能不佳问题。
- 周墨颂朱正东董小社陈衡王寅峰
- 关键词：云计算HADOOP作业调度
- MIC商用并行编程性能优化分析
- 2013年
- 针对MIC架构处理各种复杂业务时对性能日益增长的要求,为充分利用MIC使用已有编程模型的优势,通过避免内存容量、网络带宽方面的瓶颈增强并行编程的线程扩展性,对并行度、内存空间、数据通信与传递、Cache访问、负载均衡以及循环分块和向量化等方法进行了讨论。通过在内存数据库领域优化性能的应用,对使用三层优化方法发挥MIC众核技术优势进行了分析与展望。
- 王寅峰邓果丽许志良
- 面向CPU-GPU架构的源到源自动映射方法被引量：2
- 2015年
- 针对GPU上应用开发移植困难的问题,提出了一种串行计算源程序到并行计算源程序的映射方法。该方法从串行源程序中获得可并行化循环的层次信息,建立循环体结构与GPU线程的对应关系,生成GPU端核心函数代码;根据变量引用读写属性生成CPU端控制代码。基于该方法实现了一个编译原型系统,完成了C语言源程序到CUDA源程序的自动生成。对原型系统在功能和性能方面的测试结果表明,该系统生成的CUDA源程序与C语言源程序在功能上一致,其性能有显著提高,在一定程度上解决了计算密集型应用向CPU-GPU异构多核系统移植困难的问题。
- 朱正东刘袁魏洪昌颜康王寅峰董小社
- 关键词：自动映射
- 一种短作业环境下的延迟调度算法被引量：2
- 2015年
- 针对短作业场景下YARN平台中延迟调度算法基于静态时间等待阈值,不能进行合理等待的问题,提出了一种云计算环境中基于本地性资源预测的延迟调度算法(locality resource forecast delay scheduling,LRFD)。该算法综合考虑短作业和资源可用性动态变化的特点进行任务调度,根据节点上任务的完成进度和作业未处理数据在集群中的分布状况预估作业的本地性资源信息,从而判断是否需要进行等待以提高系统性能,实现了对本地性资源的合理等待。实验结果表明:在短作业场景下,LRFD算法的性能和稳定性均优于已有的延迟算法,作业性能平均提升约10%,最大加速比可达3倍以上。
- 刘强董小社朱正东王寅峰
- 关键词：云计算
- 面向众核系统的线程分组映射方法被引量：1
- 2016年
- 为了使应用线程更合理地映射到众核处理器具体处理核上,提出一种利用不同线程内部数据局部性及不同线程间数据相关性的特点、结合具体硬件架构特征的线程分组映射方法。通过计算数据重用距离,分析应用程序线程内部数据局部性,用线程相关性矩阵度量不同线程间的数据相关性;根据应用程序数据相关性及众核处理器硬件架构特点,通过设计数据相关性子树生成算法,将应用线程分为能反映不同线程数据访问特点的逻辑组;在线程逻辑分组的基础上,通过线程到处理核的绑定实现线程到具体处理器不同处理核硬件线程的合理映射。实验结果表明:与传统映射方法相比,该线程分组映射方法在不产生额外运行时开销的基础上,计算性能平均提高了14%,能耗降低了12%。该方法可以根据应用程序不同线程之间的数据相关性,将不同线程合理映射到具体众核处理器不同处理核上,在不引入额外运行时开销的基础上,提升众核系统的计算效能。
- 巨涛张兴军陈衡董小社
- 关键词：数据相关性
