中央高校基本科研业务费专项资金(N110323009)
- 作品数:3 被引量:19H指数:2
- 相关作者:王翠荣王聪贾朔万聪史闻博更多>>
- 相关机构:东北大学更多>>
- 发文基金:中央高校基本科研业务费专项资金国家自然科学基金辽宁省教育厅高等学校科学研究项目更多>>
- 相关领域:自动化与计算机技术更多>>
- 基于DPSO负载可控的虚拟网络映射算法被引量:7
- 2014年
- 针对多租赁模式下的虚拟网络映射问题,以降低底层链路负载、加快映射速度、提高底层物理资源利用率为目标,将离散粒子群算法与虚拟节点映射规则相结合,提出了物理节点可复用、负载可控制的MLB-VNE-SDPSO算法.该算法在兼顾CPU等主机资源利用率的前提下节约了物理链路的带宽资源,缩短了虚拟链路的映射过程.仿真实验表明,在保证网络负载的前提下,获得了较好的物理节点利用率,提高了虚拟网络的收益成本比.
- 苑迎王翠荣王聪史闻博
- 关键词:网络虚拟化映射算法虚拟网络整数线性规划离散粒子群算法
- MapReduce模型中reduce阶段负载均衡分区算法研究被引量:10
- 2015年
- MapReduce是一种处理大规模数据的并行计算模型,针对传统模型中reduce阶段各个结点负载不均衡的问题,提出一种reduce阶段负载均衡分区算法.算法将map阶段产生的中间数据划分为更多的分区,减少了每个分区的工作量,每次给reducetask分配一个分区,reducetask完成一个分区的工作之后会继续获得新的分区,直到所有的分区都被分配完毕,实现了动态调节reducetask的负载.还改进了MapReduce的通信协议来支持算法并且设计了新的容错机制.最后,通过重写Hadoop平台内核实现了算法并进行了实验分析,结果表明,该算法在不影响MapReduce模型的情况下显著的缩短了任务的处理时间.
- 万聪王翠荣王聪贾朔
- 关键词:MAPREDUCE负载均衡HADOOP
- 基于排队网络的多优先级MapReduce作业调度算法被引量:2
- 2014年
- MapReduce是一个能够对大规模数据进行分布式处理的框架,目前被各个领域广泛应用。在提供MapReduce服务的集群中,如何保证不同优先级用户的截止时间限定是MapReduce作业调度问题的一个挑战。针对这一问题,提出了一个基于排队网络的多优先级作业调度算法(MPSA)。首先分析和归纳了基于MapReduce模型的算法,提出了三种常见模式,采用Jackson排队网络对基于MapReduce模型的算法建立了数学模型,应用该网络模型可以求出不同优先级队列对资源的需求;随后使用AR(1)模型进行预测,使算法可以动态地适应不同的用户访问量;利用二分查找算法,分步计算出不同优先级在map阶段和reduce阶段分配的槽位数;最后实现了在MapReduce模型中应用的实时调度算法。实验结果表明,与传统的FIFO和公平调度算法相比,本文提出的算法在用户到达率和任务规模变化的情况下,可以更加有效地满足不同优先级用户的截止时间限定。
- 万聪王翠荣王聪吕艳霞贾朔
- 关键词:云计算排队网络MAPREDUCE调度算法