马宝来
- 作品数：2 被引量：10H指数：1
- 供职机构：东北大学更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- Hadoop平台任务调度算法的研究与改进
- 云计算是一种新兴的并行计算技术,在学术界和商业界都取得了巨大的发展,已有大量的云计算系统被投入使用。现有的Hadoop平台在异构环境下的调度效率低下,任务响应时间长,浪费系统资源。因此,通过研究现有的Hadoop平台的任...
- 马宝来
- 关键词：HADOOP任务调度异构环境数据局部性
- 文献传递
- 基于数据局部性的推测式Hadoop任务调度算法研究被引量：10
- 2014年
- 针对Hadoop平台现有任务调度算法优化程度不高的问题,提出了一种基于数据局部性的推测式任务调度算法。该算法通过计算节点上Map和Reduce任务时长比例,结合不同节点上数据的局部特性,采用了比现有算法更精确的任务进度探测方式找出快慢节点,在快节点上启动剩余时间最长的落后任务的备份任务,用移动计算代替移动数据。在Hadoop环境中进行了实验,结果表明该算法比现有算法缩短了任务平均运行时间,加快了任务的执行效率。
- 刘奎刘向东马宝来王翠荣
- 关键词：HADOOP任务调度异构环境数据局部性
