您的位置： 专家智库 > >

孟祥乾

作品数：3 被引量：5H指数：2
供职机构：哈尔滨工业大学深圳研究生院更多>>
发文基金：国家自然科学基金更多>>
相关领域：自动化与计算机技术更多>>

合作作者

文献类型

  • 2篇期刊文章
  • 1篇学位论文

领域

  • 3篇自动化与计算...

主题

  • 3篇爬虫
  • 2篇网络
  • 2篇网络爬虫
  • 2篇负载平衡
  • 2篇负载平衡模型
  • 1篇带宽
  • 1篇请求
  • 1篇流水线
  • 1篇控制策略
  • 1篇服务器
  • 1篇WEB服务器
  • 1篇WEB服务

机构

  • 3篇哈尔滨工业大...

作者

  • 3篇孟祥乾
  • 2篇叶允明
  • 1篇邓斌

传媒

  • 1篇计算机工程
  • 1篇微计算机信息

年份

  • 1篇2009
  • 1篇2008
  • 1篇2007
共 3 条 记 录，以下是 1-3
全选 清除 导出
排序方式：
并行爬虫中的负载平衡模型研究
随着Internet的迅速发展，网上信息以爆炸性的速度不断丰富和扩展，搜索引擎成为获取信息的必需工具，而网络爬虫作为网页收集工具是搜索引擎的核心组成部分。随着互联网信息量的增大，对搜索引擎网页收集的全面性和及时性提出了更...
孟祥乾
关键词：负载平衡模型WEB服务器
文献传递
基于流水线负载平衡模型的并行爬虫研究被引量：3
2009年
针对并行爬虫系统在多任务并发执行时所遇到的模块间负载平衡问题,提出流水线负载平衡模型(PLB),将不同的任务抽象为独立模块而达到各模块的处理速度相等,采用多线程的方式实现基于PLB的并行爬虫,根据线程的休眠和缓冲区的变化对线程数量进行动态调整以实现PLB。实验结果表明该方法具有良好的运行效率和稳定性。
孟祥乾叶允明邓斌
关键词：爬虫流水线负载平衡
一种新的网络爬虫带宽控制策略被引量：2
2008年
网络爬虫如何在限定带宽的条件下进行爬行是一个有巨大应用价值的问题,但是目前对这个方面的研究较少,本文提出了一种基于对站点礼貌爬行的爬虫带宽控制策略,通过对不同站点下载速度的建模分析和基于礼貌爬行的访问频率控制,得到了面向站点的爬行控制算法,最后实验证明这种方法能够充分利用所限定的带宽。
孟祥乾叶允明
关键词：网络爬虫
全选 清除 导出
共1页<1>
聚类工具0