教育部“春晖计划”(Z2009-1-01044)
- 作品数：3 被引量：30H指数：2
- 相关作者：王静宇谭跃生郝晓飞艾云霄赵伟燕更多>>
- 相关机构：内蒙古科技大学更多>>
- 发文基金：教育部“春晖计划”内蒙古自治区自然科学基金国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- Hadoop平台上Apriori算法并行化研究与实现被引量：27
- 2013年
- 分析传统串行关联规则Apriori算法的计算过程以及存在的一些缺点,针对串行算法执行效率低,时间复杂度高以及传统并行计算模式不能处理节点失效,难以处理负载均衡等问题,提出基于Hadoop平台实现并行关联规则算法的设计方法,对传统关联规则Apriori算法进行了改进,并给出改进算法在Hadoop平台的MapReduce编程模型上的执行流程;在Hadoop平台上对改进后的算法进行单机测试和集群测试,实验结果证明,改进后的算法具有较高的执行效率,良好的加速比和可移植性。
- 郝晓飞谭跃生王静宇
- 关键词：HADOOP关联规则算法并行计算APRIORI
- MooseFS中chunkserver负载均衡算法研究被引量：2
- 2013年
- 作为云存储的核心基础平台,分布式文件系统的重要性日益凸显。分布式文件系统中数据存储在多台计算机节点上,必然会出现负载均衡问题。首先,对MooseFS的系统架构进行了研究,然后分析了MooseFS分布式文件系统中chunkserver选择算法,研究了chunkserver算法的负载均衡性能,最后对其进行了改进。经过实验测试对比,实验结果显示改进算法能显著提高chunkserver的负载均衡性能。
- 艾云霄谭跃生王静宇
- 关键词：分布式文件系统数据存储负载均衡
- 基于MapReduce编程模型的TFIDF算法研究被引量：1
- 2013年
- 随着Internet等技术的飞速发展,信息处理已经成为人们获取有用信息不可或缺的工具,如何在海量信息中高效地获得有用信息至关重要,因此自动文本分类技术尤为重要。现有的文本分类算法在时间复杂性和空间复杂性上遇到瓶颈,不能满足人们的需求,为此提出了基于Hadoop分布式平台的TFIDF算法,给出了算法实现的具体流程,通过MapReduce编程实现了该算法,并在单机和集群模式下进行了对比实验,同时与传统串行算法进行了对比。实验证明,使用TFIDF文本分类算法可实现对海量数据的高速有效分类。
- 赵伟燕王静宇
- 关键词：文本分类MAPREDUCE并行化TFIDF算法
