李玉林
- 作品数：1 被引量：37H指数：1
- 供职机构：华北计算技术研究所更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于Hadoop的MapReduce模型的研究与改进被引量：37
- 2012年
- 针对MapReduce模型中存在的多个Reduce任务之间完成时间差别较大的问题,分析了影响Reduce任务完成时间的因素,指出了MapReduce模型中Reduce任务节点存在数据倾斜问题,提出了一种改进型的MapReduce模型MBR(Map-Balance-Reduce)模型。通过添加Balance任务,对Map任务处理完成的中间数据进行均衡操作,使得分配到Reduce任务节点的数据比较均衡,从而确保Reduce任务的完成时间基本一致。仿真实验结果表明,经过Balance任务后,Map任务产生的中间数据能够比较均衡的分配给Reduce任务节点,达到数据计算均衡的目的,在一定程度上减少了整个作业的执行时间。
- 李玉林董晶
- 关键词：MAPREDUCE模型HADOOP云计算并行编程
