郑楠
- 作品数:3 被引量:12H指数:2
- 供职机构:教育部更多>>
- 发文基金:国家自然科学基金北京市属高等学校高层次人才引进与培养计划更多>>
- 相关领域:自动化与计算机技术电气工程电子电信更多>>
- 基于Hadoop平台的LDA算法的并行化实现被引量:3
- 2016年
- 随着互联网的飞速发展,需要处理的数据量不断增加,在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求,针对在单机情况下,传统LDA算法无法分析处理大规模语料集的问题,提出基于MapReduce计算框架,采用Gibbs抽样方法的并行化LDA主题模型的建立方法。利用分布式计算框架MapReduce研究了LDA主题模型的并行化实现,并且考察了该并行计算程序的计算性能。通过对Hadoop并行计算与单机计算进行实验对比,发现该方法在处理大规模语料时,能够较大地提升算法的运行速度,并且随着集群节点数的增加,在加速比方面也有较好的表现。基于Hadoop平台并行化地实现LDA算法具有可行性,解决了单机无法分析大规模语料集中潜藏主题信息的问题。
- 张钊张新峰郑楠贵明俊
- 关键词:HADOOPMAPREDUCE中文分词并行计算
- 基于Hadoop平台的LDA算法的并行化实现
- 目的随着互联网的飞速发展,需要处理的数据量不断增加,在互联网数据挖掘领域中传统的单机文本聚类算法无法满足海量数据处理的要求,针对在单机情况下,传统LDA算法无法分析处理大规模语料集的问题。方法本文提出基于MapReduc...
- 张钊张新峰贵明俊郑楠
- 计及分布式电源渗透率变化的变电站动态扩展规划被引量:9
- 2017年
- 针对规划区域在不同发展阶段分布式电源(DG)渗透率由低到高变化场景下的源网荷协调匹配问题,提出了一种有源配电网变电站动态扩展规划方法。首先,考虑变电站滚动投入效应及规划期内剩余价值差异,建立了一种计及DG渗透率的变电站动态扩展规划模型。其次,考虑负载均衡度和DG置信容量对变电站供电范围划分的影响,提出了加权Voronoi图算法的罚函数、凹凸性和方向性改进方法。然后,提出了基于遗传算法和启发式算法的有源配电网变电站动态扩展规划求解方法,得到有源配电网变电站建设顺序。最后,通过实例说明了所述方法的科学性和实用性。
- 刘洪王博葛少云郑楠郭力
- 关键词:渗透率遗传算法启发式算法