`
ljl_xyf
  • 浏览: 615086 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Heritrix 和 Nutch 比较与分析(java开源网络爬虫)

    博客分类:
  • java
阅读更多

Heritrix项目介绍
Heritrix工程始于2003年初,IA的目的是开发一个特殊的爬虫,对网上的资源进行归档,建立网络数字图书馆。在过去的6年里,IA已经建立了400TB的数据。 IA期望他们的crawler包含以下几种:

宽带爬虫: 能够以更高的带宽去站点爬。
主题爬虫: 集中于被选择的问题。
持续爬虫: 不仅仅爬更当前的网页还负责爬日后更新的网页。
实验爬虫: 对爬虫技术进行实验,以决定该爬什么,以及对不同协议的爬虫 爬行结果进行分析的。

Heritrix工作原理
Heritrix是一个爬虫框架,可加如入一些可互换的组件。它的执行是递归进行的,主要有以下几步:

  1. 在预定的URI中选择一个。
  2. 获取URI
  3. 分析,归档结果
  4. 选择已经发现的感兴趣的URI。加入预定队列。
  5. 标记已经处理过的URI

Heritrix主要有三大部件:范围部件,边界部件,处理器链
范围部件: 主要按照规则决定将哪个URI入队。
边界部件: 跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个 URI,剔除已经处理过的URI。
处理器链: 包含若干处理器获取URI,分析结果,将它们传回给边界部件
Heritrix的其余部件有:
WEB管理控制台: 大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。 操作者可以通过选择Crawler命令来操作控制台。
Crawler命令处理部件: 包含足够的信息创建要爬的URI。
Servercache(处理器缓存): 存放服务器的持久信息,能够被爬行部件随时查到,包括IP地址,历史记录,机器人策略。
处理器链:
预取链: 主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。
提取链: 主要是获得资源,进行DNS转换,填写请求和响应表单
抽取链: 当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估
写链: 存储爬行结果,返回内容和抽取特性,过滤完存储。
提交链: 做最后的维护,例如,测试那些不在范围内的,提交给边 界部件
Heritrix 1.0.0包含以下关键特性:

  1. 用单个爬虫在多个独立的站点一直不断的进行递归的爬。
  2. 从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。
  3. 主要是用广度优先算法进行处理。(http://www.my400800.cn
  4. 主要部件都是高效的可扩展的

良好的配置,包括:

  1. 可设置输出日志,归档文件和临时文件的位置
  2. 可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。
  3. 可设置工作线程数量。
  4. 可设置所利用的带宽的上界。
  5. 可在设置之后一定时间重新选择。
  6. 包含一些可设置的过滤机制,表达方式,URI路径深度选 择等等。


Heritrix的局限

  1. 单实例的爬虫,之间不能进行合作。
  2. 在有限的机器资源的情况下,却要复杂的操作。
  3. 只有官方支持,仅仅在Linux上进行了测试。
  4. 每个爬虫是单独进行工作的,没有对更新进行修订。
  5. 在硬件和系统失败时,恢复能力很差。
  6. 很少的时间用来优化性能。





爬虫信息
爬虫名称: Heritrix
爬行强度: 低
HTTP User Agent:
Mozilla/5.0 (compatible; heritrix/1.10.2 +http://www.my400800.cn /)

来访IP:171.64.75.233

对Heritrix爬虫进行控制
Heritrix被设计成严格遵循robots.txt文件的排除指示和META robots标签。


邀请Heritrix来访
如果你在在robots.txt中限制了部分爬虫,那么你可能需要在robots.txt中增加下述内容:

User-agent: Heritrix Disallow:


禁止Heritrix访问
如果你不希望Heritrix爬虫占用服务器资源,可以这样封锁它:

User-agent: Heritrix

Disallow: /

如果你仅仅不希望Heritrix爬行某些目录,则可以这样:

User-agent: Heritrix

Disallow: /somedir/



Heritrix 的架构示意图:





下面有一个heritrixProject.rar可以下来使用一些。。
运行org.archive.crawler.Heritrix 然后访问http://localhost:8080就可以了登入用户/密码为admin/admin


Heritrix和Nutch的差异:

  1. Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌
  2. Nutch 可以修剪内容,或者对内容格式进行转换。
  3. Nutch 保存内容为数据库优化格式便于以后索引;刷新替换旧的内容。而Heritrix 是添加(追加)新的内容。
  4. Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。
  5. Nutch 的定制能力不够强,不过现在已经有了一定改进。Heritrix 可控制的参数更多。



Nutch 的架构示意图: 




 
  

 

 

下面是Nucth的运行流程图:


其中nutch的抓取模块在编制索引保存到索引库之后就算完成。

另外一个图,可能需要在熟悉nutch之后才能看懂:

 


 

 

 三个目录

首先理解nutch的三个数据目录:

1.crawdb ,linkdb 是web link目录,存放url 及url的互联关系,作为爬行与重新爬行的依据,页面默认30天过期。

2.segments 是主目录,存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行,因此每爬完一轮会生成一个segment目录。

3.index 是lucene的索引目录,是indexs里所有index合并后的完整索引,注意索引文件只对页面内容进行索引,没有进行存储,因此查询时要去访问segments目录才能获得页面内容。

 

 

  • 大小: 40.9 KB
  • 大小: 43.1 KB
  • 大小: 34.5 KB
  • 大小: 73.1 KB
分享到:
评论
1 楼 qichao88888 2011-11-20  
楼主,你好,现在开始学习nutch,能给点学习建议吗?

相关推荐

    搜索引擎开源网络爬虫Heritrix无敌配置

    搜索引擎开源网络爬虫Heritrix无敌配置搜索引擎开源网络爬虫Heritrix无敌配置

    开源的爬虫软件Heritrix3.1.0

    开源的爬虫软件Heritrix3.1.0,文件为可用的源代码,供下载,经测试,可用。

    网络爬虫Heritrix1.14.4可直接用

    在/Heritrix1/src/org/archive/crawler/Heritrix.java启动之后,访问https://localhost:8089登录admin密码admin直接用

    基于Heritrix的主题网络爬虫设计与实现

    基于Heritrix的主题网络爬虫设计与实现,论文

    基于_Heritrix_网络爬虫算法的研究与应用

    基于_Heritrix_网络爬虫算法的研究与应用

    heritrix-1.14.0-src 网络爬虫

    一个java的网络爬虫程序。heritrix-1.14.0-src

    heritrix网络爬虫

    Heritrix是一个开源,可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取...

    Heritrix爬虫框架 完整版

    Heritrix 是一个由 java 开发的、开源的网络爬虫,用户可以使用它来从网上抓取想要的资源。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取逻辑

    无比强大的网络爬虫Heritrix

    无比强大的网络爬虫Heritrix 绝好的入门级。 绝对的高清。

    heritrix开源爬虫

    一种著名的开源使用java编写的免费网络爬虫.

    基于Heritrix的主题网络爬虫设计与实现.pdf

    基于Heritrix的主题网络爬虫设计与实现.pdf基于Heritrix的主题网络爬虫设计与实现.pdf基于Heritrix的主题网络爬虫设计与实现.pdf基于Heritrix的主题网络爬虫设计与实现.pdf

    Heritrix安装和配置流程

    Heritrix 是一款基于JAVA的开源的网络爬虫框架,亲自动手记录

    网络爬虫总体介绍

    网络爬虫总体介绍和调研结果包括了heritrix 架构和每个模块,nutch,以及google ajax api

    heritrix爬虫安装部署

    介绍了heritrix爬虫安装和部署,以及运行示例和常见错误

    heritrix 中文API (自己整理) 网络爬虫

    heritrix 中文API (自己整理),网络爬虫,只包含关键的类的介绍

    网络爬虫调研报告.doc

    二者均为Java开源框架,Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫/蜘蛛( Web Crawler),它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地, 使用的...

    网络爬虫调研报告.docx

    充当全文检索数据库的是Apache组织下的开源项目Lucene 检索工具,而Lucene只是个搜索引擎工具,它提供API接口,通过编写程序对信息进行索引和检索,在其后台需要网络爬虫程序的支持,其目的是通过网络爬虫软件抓取...

    网络爬虫调研报告(1).doc

    二者均为Java开源框架,Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫/蜘蛛( Web Crawler),它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地, 使用的...

    网络爬虫调研报告(2).doc

    二者均为Java开源框架,Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫/蜘蛛( Web Crawler),它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地, 使用的...

    Heritrix网络爬虫

    简单的实现了Heritrix的爬虫机制,可以简单的爬一些视频网站,有兴趣者 可以在原基础上进行扩展和定制

Global site tag (gtag.js) - Google Analytics