您的位置: 专家智库 > >

王刚

作品数:2 被引量:5H指数:2
供职机构:山东建筑大学计算机科学与技术学院更多>>
发文基金:国家自然科学基金更多>>
相关领域:自动化与计算机技术更多>>

文献类型

  • 2篇中文期刊文章

领域

  • 2篇自动化与计算...

主题

  • 1篇社交
  • 1篇社交网
  • 1篇社交网络
  • 1篇网络
  • 1篇负载均衡
  • 1篇MAPRED...
  • 1篇大数据

机构

  • 2篇山东建筑大学

作者

  • 2篇李盛恩
  • 2篇王刚
  • 1篇王童童

传媒

  • 1篇计算机应用与...
  • 1篇计算机技术与...

年份

  • 2篇2016
2 条 记 录,以下是 1-2
排序方式:
MapReduce中数据倾斜解决方法的研究被引量:3
2016年
随着移动互联网和物联网的飞速发展,数据规模呈爆炸性增长态势,人们已经进入大数据时代。MapReduce是一种分布式计算框架,具备海量数据处理的能力,已成为大数据领域研究的热点。但是MapReduce的性能严重依赖于数据的分布,当数据存在倾斜时,MapReduce默认的Hash划分无法保证Reduce阶段节点负载平衡,负载重的节点会影响作业的最终完成时间。为解决这一问题,利用了抽样的方法。在用户作业执行前运行一个MapReduce作业进行并行抽样,抽样获得key的频次分布后结合数据本地性实现负载均衡的数据分配策略。搭建了实验平台,在实验平台上测试WordCount实例。实验结果表明,采用抽样方法实现的数据划分策略性能要优于MapReduce默认的哈希划分方法,结合了数据本地性的抽样划分方法的效果要优于没有考虑数据本地性的抽样划分方法。
王刚李盛恩
关键词:大数据MAPREDUCE负载均衡
基于社交网络节点中心度挖掘其社区框架被引量:2
2016年
社区结构作为真实复杂网络所普遍具有的一个重要的拓扑特性,最近10年内得到了广泛而深入的研究。为解决社区挖掘策略时间复杂度过高、缺少与用户交互等问题,讨论了社交网络节点中心度、度的幂律分布等特性,提出了"关键子网络"和"社区框架"的概念,设计了社区框架挖掘算法MCF(Mine the Community Framework)和社区框架钻取算法DCF(Drill Down the Community Framework),其中MCF算法用于挖掘社交网络的社区框架,DCF用于对社区框架进行钻取,从不同粒度展现社区结构。实验结果和实验分析表明,MCF算法能够在较短时间内挖掘出反映复杂网络社区状态的社区框架,DCF算法可以以用户交互方式实现高质量的社区划分。
王童童李盛恩王刚
关键词:社交网络
共1页<1>
聚类工具0