周爽
- 作品数：1 被引量：5H指数：1
- 供职机构：东北大学信息科学与工程学院更多>>
- 发文基金：中央高校基本科研业务费专项资金国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- BHP:面向BSP模型的负载均衡Hash图数据划分被引量：5
- 2014年
- 图数据划分是基于BSP(bulk synchronous parallel)编程模型的大规模图处理系统中一个关键技术问题。传统的图划分技术需要多次迭代,时间复杂度过高,且划分结果不具有图顶点到分区的映射信息,因此这些算法并不适用于BSP模型下的数据划分。提出了一种新的面向BSP模型的负载均衡Hash数据划分算法(balanced Hash partition,BHP)。为了实现各个分区的出边数尽可能均衡,该算法引入了虚拟桶的概念,通过贪婪算法将虚拟桶重组为实际分区,保证了每个实际分区负载均衡,同时数据本地化策略使本分片上的数据尽可能地保留在本节点上,从而减小在数据加载时的数据迁移开销。从三个方面对比了BHP算法和经典Hash算法的性能,结果表明BHP算法能够提高作业的执行效率,减少消息发送的数量,有效解决了经典Hash算法的负载不均衡和分区间交互边过多的问题,当数据量变大时,效果尤为明显。
- 周爽鲍玉斌王志刚冷芳玲于戈邓超郭磊涛
- 关键词：BSP模型图划分负载均衡
