您的位置： 专家智库 > >

杨溥

作品数：14 被引量：6H指数：1
供职机构：北京邮电大学更多>>
相关领域：文化科学更多>>

合作作者

文献类型

  • 13篇专利
  • 1篇学位论文

领域

  • 1篇文化科学

主题

  • 14篇爬虫
  • 14篇爬虫系统
  • 11篇链接
  • 11篇超链
  • 11篇超链接
  • 8篇引擎
  • 8篇搜索
  • 8篇搜索引擎
  • 8篇索引
  • 6篇引擎系统
  • 6篇搜索引擎系统
  • 4篇数据采集
  • 3篇视频
  • 3篇数据下载
  • 3篇网页
  • 3篇下载
  • 2篇定制
  • 2篇设计架构
  • 2篇视频数据
  • 2篇视频数据采集

机构

  • 14篇北京邮电大学

作者

  • 14篇杨溥
  • 13篇郭军
  • 10篇徐蔚然
  • 3篇陈光

年份

  • 3篇2010
  • 9篇2009
  • 2篇2008
共 14 条 记 录，以下是 1-10
全选 清除 导出
排序方式：
自动动态更新论坛爬虫系统的构建方法
本发明公开了一种自动动态更新论坛爬虫系统的构建方法，该方法包括下列步骤：(1)提取存储纯网页超链接；(2)判断话题网页位置；(3)检测话题网页新旧；(4)新话题网页处理；(5)旧话题网页处理；(6)纯网页超链接情况判断处...
杨溥郭军徐蔚然
文献传递
防假死爬虫系统的构建方法
本发明公开了一种防假死爬虫系统的构建方法，该方法包括下列步骤：(1)检测处理被请求网页；(2)检测处理网络响应；(3)检测处理存储空间；(4)重复执行步骤(1)，(2)和(3)，直到网页超链接全部处理完为止。通过应用本发...
杨溥郭军徐蔚然
文献传递
搜索引擎中爬虫的若干问题研究
本文针对爬虫在当前网络环境中衍生的不同的性质提出一些针对各个性质的爬虫构架方法，并对各种方法进行实验分析，主要创新工作和成果如下： 第一，总结了搜索引擎中爬虫的基本性质。 介绍了搜索引擎中爬虫的第一个...
杨溥
关键词：信息检索搜索引擎爬虫系统
文献传递
同话题定位跟踪式论坛爬虫系统
本发明公开了一种同话题定位跟踪式论坛爬虫系统，包括以下部件：非文本粗略过滤器，非文本精确过滤器，超链接补全器，纯网页超链接存储库，同话题定位跟踪器，同话题网页超链接存储库，网页组数据下载器，统一编号器，网页组数据存储库，...
杨溥郭军徐蔚然
文献传递
可预览视频搜索引擎的爬虫系统的构建方法
本发明公开了一种可预览视频搜索引擎的爬虫系统的构建方法，该方法包括下列步骤：(1)超链接映射成列表；(2)检测列表状态；(3)摘要图片处理；(4)视频处理；(5)视频标题处理。通过应用本发明所描述的方法，可以为可预览视频...
杨溥郭军陈光
文献传递
针对视频网站的广域网爬虫系统
本发明公开了一种针对视频网站的广域网爬虫系统，包括以下部件：超链接扫描器，通用地址分析提取器，视频标识提取器，播放地址合成器，视频真实地址提取器，真实地址存储库，视频数据下载器，视频数据存储库，以及超链接喂食器。通过应用...
杨溥郭军陈光
文献传递
内部网可定制爬虫系统构建方法
本发明公开了一种内部网可定制爬出系统构建方法，该方法包括下列步骤：(1)分析超链接所指向的数据是否是web网页；(2)若是web网页，则分析web网页，处理超链接信息；若不是web网页，则直接进入步骤(3)；(3)根据定...
杨溥郭军徐蔚然
文献传递
针对视频网站的广域网爬虫系统
本发明公开了一种针对视频网站的广域网爬虫系统，包括以下部件：超链接扫描器，通用地址分析提取器，视频标识提取器，播放地址合成器，视频真实地址提取器，真实地址存储库，视频数据下载器，视频数据存储库，以及超链接喂食器。通过应用...
杨溥郭军陈光
文献传递
分布式爬虫集群系统
本发明公开了一种分布式爬虫集群系统，包括以下部件：网页爬抓器，超链接锁存储器，网页锁存储器以及超链接给予器。通过应用本发明所描述的系统，可以有效地解决分布式系统资源的占有矛盾问题；可以为开发分布式爬虫系统提供通用的设计架...
杨溥郭军徐蔚然
文献传递
并行式关联布告栏爬虫系统
本发明公开了一种并行式关联布告栏爬虫系统，包括以下部件：并行爬取器，超链接剥离器，数据分拣器，网页超链接存储器，数据关联器，存储器，以及超链接投递器。通过应用本发明所描述的系统，可以为开发复式综合布告栏搜索引擎系统的爬虫...
杨溥郭军徐蔚然
文献传递
全选 清除 导出
共2页<12>
聚类工具0