天天飞车变道引擎和加速引擎哪个更好_百度知道
天天飞车变道引擎和加速引擎哪个更好
提问者采纳
提问者评价
太给力了，你的回答完美解决了我的问题！
其他类似问题
飞车的相关知识
按默认排序
其他1条回答
速没多大用！！变道是很实用的！
但是如果撞车了的话加速引擎可能就有优势了
友友！！根据你的情况！！那么选择加速！！后期转去变道！！
我的魅影满级了
好！！魅影很好的！我用的也是！！
等待您来回答
下载知道APP
随时随地咨询
出门在外也不愁物理引擎_百度百科
关闭特色百科用户权威合作手机百科
收藏 查看&物理引擎
物理引擎通过为刚性物体赋予真实的物理属性的方式来计算运动、旋转和碰撞反映。为每个游戏使用物理引擎并不是完全必要的—简单的“”物理（比如加速和减速）也可以在一定程度上通过编程或编写来实现。然而，当游戏需要比较复杂的物体碰撞、滚动、滑动或者弹跳的时候（比如赛车类游戏或者游戏），通过编程的方法就比较困难了。作&&&&用计算运动、旋转和碰撞反映性&&&&质模拟刚体行为方&&&&法编程或编写脚本来实现支持功能Vehicle Dynamics
物理引擎使用对象属性（动量、扭矩或者弹性）来模拟刚体行为，这不仅可以得到更加真实的结果，对于开发人员来说也比编写行为要更加容易掌握。好的物理引擎允许有复杂的机械装置，像球形关节、轮子、气缸或者铰链。有些也支持非刚性体的物理属性，比如流体。物理引擎可以从另外的厂商购买，而一些游戏开发系统具备完整的物理引擎。但是要注意，虽然有的系统在其特性列表中说他们有物理引擎，但其实是一些简单的加速和属性而已。游戏中并没有所说的这种“物理效果”，还不是一样可以让人能看到该运动的东西还是在动啊，并非就是很死板地一堆放在那里。要说清楚这个问题，其实也很简单，在以往的游戏中，比如打坏一个油桶，物理引擎就会按照者预先设计好的脚本来爆炸，这就是为什么在以往的3D游戏中，那些物体只会按照原定计划做的原因。
自从游戏中加入了物理引擎后就不一样了，物理引擎完全突破了以往按预定脚本执行的方式，而是要求在3D游戏中的那些物体都要遵行物理参数来运行。这样的好处就是如果你的显卡和处理器足够强大，物理引擎就能模拟真实世界中各种物体运动的规律来运动。不过所谓的“物理引擎”并不是指那些实实在在的物理效果，物理引擎和此前理解的类似，是给游戏开发者的一个平台，允许游戏开发人员只用几行代码就能在游戏中加入烟雾等效果，非常方便。
举个简单的例子，在几年前还没有物理引擎的时候，在那种FPS游戏中，一位士兵往一个油桶旁边扔一个手雷，手雷爆炸，引起了油桶的爆炸。不过这个过程显得相当死板，不管是把手雷丢在油桶的左边还是右边，油桶都只会按照预先设计的样子爆炸，不会有区别。如果有了物理引擎，手雷扔在油桶的左边或右边都会产生不同的爆炸效果，石块会朝不同的角度飞溅起来，烟雾也会慢慢冒起来……通过物理引擎，实现这些物体之间相互影响的效果是相当简单的。这是物理计算最初给的印象，虽然这样的设计有点意思，但老是看这些爆炸场景看多以后，但总让人感觉物理引擎的效果也就仅局限于那些爆炸后石头飞起来的场景，感觉有点单一。当NⅥDIA宣布正式收购及该公司的PhysX物理软硬件组件后，所有人都在期待，期待着NⅥDIA会推出新的有关物理运算的东西出来。果不其然，如今当NⅥDIA发布Forceware 177.79驱动后，意味着 8/9和GT200系列的都支持PhysX引擎。这是因为NⅥDIA将PhysX引擎集成到的物理运算中。这样，显卡就能自动进行物理加速运算。当然，PhysX在游戏上的运用仅仅是物理引擎众多运用的一方面，在整个通用运算领域上，都会有物理引擎的身影，比如计算天体间在相互引力的作用下，各自的等。
此次在GDC09上展示的Havok物理引擎包括了三个场景，分别为爆破、布料和AI计算。演示平台使用了i7 965至尊版处理器搭配HD4870X2显卡，运行效果比较流畅。不过唯一让人感到稍稍惊讶的是，Havok物理引擎并非是专门针对ATI显卡而设计，它能够支持OpenCL架构（布料演示DEMO就是基于OpenCL架构开发的），也就是说NⅥDIA的GeForce 8以上级别显卡也很有可能能够支持Havok物理引擎。1. Havok:
老牌的君王，支持功能如下：
· Collision Detection - including Continuous Physics?
· MOPP? Technology - for compact representation of large collision meshes
· Dynamics and Constraint Solving
· Vehicle Dynamics
· Data Serialization and Art Tool Support
· Visual Debugger for in-game diagnostic feedback
有不少游戏和软件都选择了他做物理引擎，比如HALO3、失落星球、HL2、 细胞分裂、等等。etc如今Havok被Intel收购了，以后可能对Intel的CPU会有特别的优化。
Havok对PS2、XBOX、GameCube、PC多种游戏平台都有支持。也是世界顶级游戏公司Valve（Half Life的公司），Pandemci，Remedy等的合作伙伴。这个物理引擎曾经支持过各种类型的游戏，包括racing game，first-persion shooter，MMOGs，adventure games，puzzle games等等。Hovak还曾经负责Matrix的部分效果处理。
成功案例：
Crash Nitro Kart、Half-Life 2、Max Payne 2、Medal of Honor、F.E.A.R.、Lord of the Rings: Middle Earth Online。
2. NovodeX --- AGEIA PhysX
新兴的王者，支持功能如下：
· Massively Parallel Physics Architecture
· High-speed GDDR3 Memory Interface
· AGEIA Universal Continuous Collision Detection
· AGEIA Physical Smart Particle Technology
· AGEIA Complex Object Physics System
· AGEIA Scalable Terrain Fidelity
· AGEIA Dynamic Gaming Framework
因为特有的硬件卡（物理加速卡-PPU）支持，所以能处理大量的物理运算，其他几款暂时没得比。Unreal3，GameBryo， Reality Engine等多款商业引擎和游戏都使用了他。
NovodeX是由开发PPU的公司AGEIA进行维护，因此对于将来PPU硬件的支持，无疑NovodeX是最有优势的。NovodeX是一个模拟刚体动力学的物理引擎，支持速度，加速度，动量，冲量，碰撞等等的物理概念。NovodeX的开发库支持跨平台，多线程，高速碰撞检测等特性，专门对汽车物理的模拟做了优化。案例：
根据官方文档，已经有超过60个游戏工作室、公司和研究机构采用了NovodeX的技术。
开源届的霸主，支持功能如下：
· Multi Platform support
· Supports various shape types:
· Discrete Collision Detection for Rigid Body Simulation
· Single Queries:
· Sweep and Prune Broadphase
· Documentation and Support
· Auto generation of MSVC project files,comes with Jam build system
· Bullet Collision Detection works with Bullet Dynamics,but there is also a sample integration with Open Dynamics Engine.
· Framework with 2 different Constraint Solvers
· Hinge,Point to Point Constraint,Twist Cone Constraint (ragdolls)
· Automatic de-activation (sleeping)
· Generic 6 Degree of Freedom Constraint,Motors,Limits
· LCP Warm starting of contact points
· Collada 1.4 Physics Import using FCollada and COLLADA-DOM
· Convex Decomposition Code
这款物理引擎的历史也比较久了，但似乎国内知道的ODE的人更多一些，这款物理引擎被Nvidia的开发人员所关注（Nvidia前些时候说过，要用GPU来实现物理加速，可能会最先在这款物理引擎上实现。）
（Tip: 这款引擎是开源的，有兴趣的朋友，可以看看。）
开源的名角，支持功能如下：
· Rigid bodies with arbitrary mass distribution.
· Joint types: ball-and-socket,hinge,slider (prismatic),hinge-2,fixed,angular motor,linear motor,universal.
· Collision primitives: sphere,box,cylinder,capsule,plane,ray,and triangular mesh,convex.
· Collision spaces: Quad tree,hash space,and simple.
· Simulation method: The equations of motion are derived from a Lagrange multiplier velocity based model due to Trinkle/Stewart and Anitescu/Potra.
· A first order integrator is being used. It's fast,but not accurate enough for quantitative engineering yet. Higher order integrators will come later.
· Choice of time stepping methods: either the standard ``big matrix'' method or the newer iterative QuickStep method can be used.
· Contact and friction model: This is based on the Dantzig LCP solver described by Baraff,although ODE implements a faster approximation to the Coloumb friction model.
· Has a native C interface (even though ODE is mostly written in C++).
· Has a C++ interface built on top of the C one.
· Many unit tests,and more being written all the time.
· Platform specific optimizations.
· Other stuff I forgot to mention
嘿嘿，这个就不用做过多的介绍了，国内使用和学习这个的人比较多了。只是如今看到他的网页上有这么一句话：“Russell Smith is the primary author of ODE.”不知道是谁又伤害了这位仁兄。
（Tip: Google一下，中文文章一大把。）
5. TOKAMAK
如今想通了，决定开源了。支持功能如下：
· Friction
· Stacking
· Collision Detection
· Rigid Particle
· Breakage
这个物理引擎出现也比较早了，作者是，其实的游戏也很发达的，能把技术共享出来，难得啊。（日文的技术网站还是很多的。）
更多的专注于生活中的实例模拟。
7. Simple Physics Engine
国产精品，支持功能如下：
· 使用独创的快速而稳定的Tri-Mesh碰撞检测算法，使载入模型数据异常简单。SPE的碰撞检测系统从一开始就是针对三角形（Tri-Mesh）而设计，所以用户可以方便地使用mesh文件创建任意形状的刚体，SPE内部将自动处理所有工作。同时，SPE支持球和胶囊两种基本几何形状，方便用户创建粒子特效和ragdoll系统。此外，SPE支持一定条件下的连续碰撞检测，可以正确地处理大多数情况下的高速运动物体。
· 碰撞。SPE对碰撞检测系统产生的数据进行智能化分析，为碰撞反应计算提供更可靠更正确的原始数据，极大地提高了系统的稳定性。
· 稳定的碰撞与接触解决系统。从1.5版开始，SPE采用全新的解决算法，更正确地计算摩擦与反弹，而且更稳定。
· SPE提供一种稳定的基本Joint功能，支持最大距离、弹性系数以及破坏力等参数的配置，用户可以使用它方便地创建各种其他类型的Joint。
· 实时刚体破碎。（Beta）。SPE提供“形状操作”的功能，任何模型均可被一组平面或另一个模型切成小块，SPE生成的模型中包括用于区分原始表面与切面的属性信息，方便用户更合理地渲染出新的形状。如今，可破坏刚体的API已经开放。
· 高并行计算。SPE已经完成了多线程化以充分利用多核心CPU的性能. 90%以上的计算任务都可均匀地分配到任意数量的线程中去. 与单线程相比，双线程至少能提供60%的性能提升，而四线程可以带来150%以上的性能提升。使用SPEWorld::SetNumThreads（）即可在任何时候开启多线程计算。
· 简单易用而人性化的接口，极大地降低了SPE与其他软件系统结合的难度，使用户在瞬间即可建立一个具有真实物理属性的世界。开发公司/作者
Russell Smith
是否支持C++开发
价格需要协商
价格需要协商
GNU LGPL/BSD/价格和使用需要协商
价格需要协商
PhysX在在游戏中有粒子、流体、软体、关节和布料五大应用。所谓的粒子运动，主要是指大规模的物理运动，比如此前提到过的用手雷将油桶引爆后所形成的碎石头、冲击波造成的尘土飞扬等效果，这些效果如果都让传统的CPU来进行运算的话，无疑是相当困难的。流体运动更多的则是展现水从水管内喷出，水冲击到物体后，物体的表现，比如木箱被冲翻。而那些被冲翻的木箱翻倒的方向每次都各不相同，又比如在一个NⅥDIA Logo形状的玻璃容器中，用鼠标来控制玻璃容器的位置，让容器里的液体流动，这种流动的效果和现实中的效果已经相当接近了。在NⅥDIA展示的演示画面中，还有一个则是“食人花”的场景。讲述的是一朵巨大的食人花（也可以说是花形状的怪兽）被人抓住以后，玩家用激光去攻击食人花，然后这朵“花”就会作出反应。这种软软的身躯扭动起来非常像现实生活中看到的鼻涕虫之类的虫在蠕动一样，感觉相当恶心。至于在关节和布料方面的应用，在文章的开始处已经提到了，美女们在T型台上用夸张的肢势行走，虽然动作夸张，却丝毫没有虚假的成分在里面，这在传统的3D游戏里是很难做到的。而身上的裙子也跟着关节的移动而跟着摆动。
可以看出，所谓物理效果，都是在游戏中模仿现实中真实物理世界的运动方式，在游戏中，大家甚至能感受到箱子、石头、布料以及那些恶心的无脊椎动物的触感是怎样的。游戏之所以能实现如此多的动态效果，都要归功于物理运算。PhysX 是一套由NⅥDIA 设计的执行复杂的物理运算的技术。NⅥDIA PhysX基于NⅥDIA CUDA，允许其用户利用 PhysX 执行物理运算。Physx在游戏中实现物理运算效果绝非易事。物理运算效果是一种对计算性能要求极高的环境，以一整套独特的物理学算法为基础，需要大量同步运算的能力。采用支持PhysX(TM)技术的NⅥDIA&（英伟达(TM)）GeForce&reg；处理器是实现实时物理学特效的最佳途径，这些特效包括尘土飞扬、令物体碎片四射的爆炸、生动逼真的人物动作以及衣服布料的自然下垂与撕裂等。被广泛应用于150多个游戏中，其注册用户数量已超过10,000名。这项技术在索尼的Playstation 3、的Xbox 360、任天堂的Wii以及个人计算机上均得到了良好的支持，把游戏推向全新的境界。
此外，NⅥDIA PhysX是一种功能强大的物理加速引擎，可在顶级PC和游戏中实现实时的物理学计算。PhysX设计用途是利用具备数百个内核的强大处理器来进行硬件加速。加上GPU超强的并行处理能力，PhysX将使物理加速处理能力呈指数倍增长并将您的游戏体验提升至一个全新的水平，在游戏中呈现丰富多彩、身临其境的物理学游戏环境。其中特色如下：
⒈爆炸引起的烟尘和随之产生的碎片
⒉复杂、连贯的几何学计算使人物的动作和互动更加逼真
⒊其视觉效果令人叹为观止的全新武器
⒋布纹的编织和撕裂效果非常自然
⒌运动物体周围烟雾翻腾
⒍采用NⅥDIA支持PhysX的GeForce处理器是实现真实物理加速效果的唯一途径，其可缩放、复杂、逼真、高度互动的特性将彻底颠覆您的娱乐体验。
NⅥDIA将PhysX引擎集成到CUDA架构的物理运算中，这样就可以使GeForce 8/9及GT200系列全部都支持PhysX引擎， 所有已使用PhysX技术的游戏都支持新版驱动程序，如果装有支持CUDA平台的显卡，游戏将自动选取显卡进行物理加速运算，仍会使用性能较慢的CPU进行运算。此外，PhysX并不只使用于游戏市场，同时亦会运用CUDA通用运算领域上，应用更广。
无论是GPU还是CPU、PPU、Cell（PS3）都可以通过HAL翻译层来实现软、固质体动力（Soft or Rigid Body Dynamics）、通用碰撞侦测（Universal Collision Detection）、有限元素分析（Finite Element Analysis）、流体动力（Fluid Dynamics）、毛发模拟（Hair Simulation），以及更高级开发平台APEX中的更先进的布料模拟（Cloth Simulation）、自然模拟（Natural Motion）等在内新颖技术。
通过CUDA通用接口，PhysX引擎将NⅥDIA GPU中的Thread Scheduler（线程管理器）模拟成Control Engine（控制引擎CE），而Streaming Processors来模拟Vector Processing Engine（矢量处理引擎,VPE），其中CE控制引擎负责任务的指派，相当于PhysX中的主管机构，而真正的物理运算任务则是由VPE矢量引擎来完成，最后通过Data Movement Engine（数据移动引擎DME）输出。原是一家业界领先的服务提供商，其物理引擎被超过200款游戏使用，许多也应用了这家公司的软件技术。2007年9月，Intel突然宣布收购Havok，业界普遍猜测此举是为了抑制NⅥDIA、在游戏物理引擎领域的扩张。
Havok日前，Intel使出了扩展Havok物理引擎市场的杀手锏——免费！Havok在网站上开始提供其物理和动画引擎产品的全免费下载。内容包括Havok SDK库、样例、技术文档以及支持、和Avid XSI等建模软件的格式转换工具。所有的一切只要简单注册一下姓名邮箱就可以免费下载。
新手上路我有疑问投诉建议参考资料 查看网络爬虫_百度百科
关闭特色百科用户权威合作手机百科
收藏 查看&网络爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人，在社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取信息的程序或者。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者。外文名Computer Robot目&&&&的获取信息
随着网络的迅速发展，成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。(Search Engine)，例如传统的AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问的入口和指南。但是，这些通用性也存在着一定的局限性，如：
(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求，所返回的结果包含大量用户不关心的网页。
(2)的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的资源之间的矛盾将进一步加深。
(3)数据形式的丰富和网络技术的不断发展，图片、、音频、视频多媒体等不同数据大量出现，往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。
(4)大多提供基于的检索，难以支持根据语义信息提出的查询。网络爬虫
为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问上的网页与相关的链接，获取所需要的信息。与通用爬虫(general?purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。
1 聚焦爬虫工作原理以及关键技术概述
网络爬虫是一个自动提取网页的程序，它为从上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：
(1) 对抓取目标的描述或定义；
(2) 对网页或数据的分析与过滤；
(3) 对URL的搜索策略。
抓取目标的描述和定义是决定网页分析算法与URL搜索策略如何制订的基础。而网页分析算法和候选URL是决定所提供的服务形式和爬虫行为的关键所在。这两个部分的算法又是紧密相关的。
2 抓取目标描述
现有聚焦爬虫对抓取目标的描述可分为基于目标网页特征、基于目标数据模式和基于领域概念3种。
基于目标网页特征的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：
（1） 预先给定的初始抓取种子样本；
（2） 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；
（3） 通过用户行为确定的抓取目标样例，分为：
（a) 用户浏览过程中显示标注的抓取样本；
（b) 通过用户日志挖掘得到访问模式及相关样本。
其中，网页特征可以是网页的内容特征，也可以是网页的链接结构特征，等等。基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。
另一种描述方式是建立目标领域的本体或词典，用于从语义角度分析不同特征在某一主题中的重要程度。网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。该算法的设计和实现相对简单。在目前为覆盖尽可能多的网页，一般使用方法。也有很多研究将策略应用于聚焦爬虫中。其基本思想是认为与初始URL在一定链接距离内的网页具有主题相关性的概率很大。另外一种方法是将与网页过滤技术结合使用，先用抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。最佳优先搜索策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优。因此需要将最佳优先结合具体的应用进行改进，以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明，这样的闭环调整可以将无关网页数量降低30%~90%。深度优先搜索策略从起始网页开始，选择一个URL进入，分析这个网页中的URL，选择一个再进入。如此一个链接一个链接地抓取下去，直到处理完一条路线之后再处理下一条路线。设计较为简单。然而门户网站提供的链接往往最具价值，也很高，但每深入一层，网页价值和PageRank都会相应地有所下降。这暗示了重要网页通常距离种子较近，而过度深入抓取到的网页却价值很低。同时，这种策略抓取深度直接影响着抓取命中率以及抓取效率，对抓取深度是该种策略的关键。相对于其他两种策略而言。此种策略很少被使用。网页分析算法可以归纳为基于、基于网页内容和基于用户访问行为三种类型。基于网页之间的链接，通过已知的网页或数据，来对与其有直接或间接链接关系的对象（可以是网页或网站等）作出评价的算法。又分为网页粒度、网站粒度和网页块粒度这三种。
1 网页(Webpage)粒度的分析算法
PageRank和是最常见的链接分析算法，两者都是通过对网页间链接度的和规范化计算，得到每个网页的重要度评价。PageRank算法虽然考虑了用户访问行为的随机性和Sink网页的存在，但忽略了绝大多数用户访问时带有目的性，即网页和链接与查询主题的相关性。针对这个问题，HITS算法提出了两个关键的概念：权威型网页（authority）和中心型网页（hub）。
基于链接的抓取的问题是相关页面主题团之间的隧道现象，即很多在抓取路径上偏离主题的网页也指向目标网页，局部评价策略中断了在当前路径上的抓取行为。文献[21]提出了一种基于反向链接（BackLink）的分层式上下文模型（Context Model），用于描述指向目标网页一定物理跳数半径内的网页拓扑图的中心Layer0为目标网页，将网页依据指向目标网页的物理跳数进行层次划分，从外层网页指向内层网页的链接称为反向链接。
2 网站粒度的分析算法
网站粒度的资源发现和管理策略也比网页粒度的更简单有效。网站粒度的爬虫抓取的关键之处在于站点的划分和站点等级(SiteRank)的计算。SiteRank的计算方法与PageRank类似，但是需要对网站之间的链接作一定程度抽象，并在一定的模型下计算链接的权重。
网站划分情况分为按域名划分和按IP地址划分两种。文献[18]讨论了在分布式情况下，通过对同一个域名下不同、服务器的IP地址进行站点划分，构造站点图，利用类似PageRank的方法评价SiteRank。同时，根据不同文件在各个站点上的分布情况，构造文档图，结合SiteRank分布式计算得到DocRank。文献[18]证明，利用分布式的SiteRank计算，不仅大大降低了单机站点的算法代价，而且克服了单独站点对整个网络覆盖率有限的缺点。附带的一个优点是，常见PageRank 造假难以对SiteRank进行欺骗。
3 网页块粒度的分析算法
在一个页面中，往往含有多个指向其他页面的链接，这些链接中只有一部分是指向主题相关网页的，或根据网页的链接表明其具有较高重要性。但是，在PageRank和HITS算法中，没有对这些链接作区分，因此常常给网页分析带来广告等噪声链接的干扰。在网页块级别(Block?level)进行链接分析的算法的基本思想是通过VIPS网页分割算法将网页分为不同的网页块(page block)，然后对这些网页块建立page?to?block和block?to?page的链接，?分别记为Z和X。于是，在page?to?page图上的网页块级别的PageRank为?W?p=X×Z；?在block?to?block图上的BlockRank为?W?b=Z×X。已经有人实现了块级别的PageRank和HITS算法，并通过实验证明，效率和准确率都比传统的对应算法要好。基于网页内容的分析算法指的是利用网页内容（、数据等资源）特征进行的网页评价。网页的内容从原来的以为主，发展到后来（或称为Hidden Web）数据为主，后者的数据量约为直接可见页面数据（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒体数据、Web Service等各种形式也日益丰富。因此，基于网页内容的分析算法也从原来的较为单纯的方法，发展为涵盖网页、、、语义理解等多种方法的综合应用。本节根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类：第一种针对以文本和为主的无结构或结构很简单的网页；第二种针对从结构化的（如RDBMS）动态生成的页面，其数据不能直接批量访问；第三种针对的数据界于第一和第二类数据之间，具有较好的结构，显示遵循一定模式或风格，且可以直接访问。
基于文本的网页分析算法
1) 纯文本分类与聚类算法
很大程度上借用了的技术。算法可以快速有效的对网页进行分类和聚类，但是由于忽略了网页间和网页内部的结构信息，很少单独使用。
2) 超文本分类和聚类算法
根据网页链接网页的相关类型对网页进行分类，依靠相关联的网页推测该网页的类型。这些处理被称为网络抓取或者蜘蛛爬行。很多站点，尤其是，都使用爬虫提供最新的数据，它主要用于提供它访问过页面的一个副本，然后，搜索引擎就可以对得到的页面进行索引，以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务，例如检查链接，确认html代码；也可以用来抓取网页上某种特定类型信息，例如抓取（通常用于）。
一个网络蜘蛛就是一种机器人，或者代理。大体上，它从一组要访问的URL链接开始，可以称这些URL为种子。爬虫访问这些链接，它辨认出这些页面的所有，然后添加到这个URL列表，可以称作检索前沿。这些URL按照一定的策略反复访问。
· 1 爬行策略
o 1.1 选择策略
§ 1.1.1 限定访问链接
§ 1.1.2 路径检索
§ 1.1.3 聚焦检索
§ 1.1.4 抓取深层的网页
§ 1.1.5 Web 3.0检索
o 1.2 重新访问策略
o 1.3 平衡礼貌策略
o 1.4 并行化策略
· 2 网络爬虫体系结构
o 2.1 URL规范化
· 3 爬虫身份识别
· 4 网络爬虫的例子
o 4.1 开源的网络爬虫
1. 爬行策略
下述的三种网络特征，造成了设计网页爬虫抓取策略变得很难：
? 它巨大的数据量；
? 它快速的更新频率；
它们三个特征一起产生了很多种类的爬虫抓取链接。
巨大的数据量暗示了爬虫，在给定的时间内，只可以抓取所下载网络的一部分，所以，它需要对它的抓取页面设置优先级；快速的更新频率说明在爬虫抓取下载某网站一个网页的时候，很有可能在这个站点又有很的网页被添加进来，或者这个页面被更新或者删除了。
最近新增的很多页面都是通过服务器端产生的，无穷的参数组合也增加了爬虫抓取的难度，只有一小部分这种组合会返回一些独特的内容。例如，一个很小照片存储库仅仅通过get方式可能提供就给用户三种操作方式。如果这里存着四种分类方式，三种缩略图方式，两种，和一个禁止用户提供内容的选项，那么，同样的内容就可以通过48种方式访问。这种数学组合给网络爬虫创造的难处就是，为了获取不同的内容，他们必须筛选无穷仅有微小变化的组合。
正如等人所说的：“用于检索的带宽不是无限的，也不是免费的；所以，如果引入衡量爬虫抓取质量或者新鲜度的有效指标的话，不但伸缩性，连有效性都将变得十分必要”（爱德华等人，2001年）。一个爬虫就必须小心的选择下一步要访问什么页面。网页爬虫的行为通常是四种策略组合的结果。
? 选择策略，决定所要下载的页面；
? 重新访问策略，决定什么时候检查页面的更新变化；
? 平衡礼貌策略，指出怎样避免站点超载；
? 并行策略，指出怎么协同达到分布式抓取的效果；
1.1 选择策略：
就现在的大小而言，即使很大的也只能获取网络上可得到资源的一小部分。由河盖尔斯共同做的一项研究指出，没有一个抓取的内容达到网络的16%(劳伦斯河盖尔斯，2001)。网络爬虫通常仅仅下载网页内容的一部分，但是大家都还是强烈要求下载的部分包括最多的相关页面，而不仅仅是一个随机的简单的站点。
这就要求一个公共标准来区分网页的重要程度，一个页面的重要程度与他自身的质量有关，与按照链接数、访问数得出的受欢迎程度有关，甚至与他本身的网址（后来出现的把搜索放在一个顶级域名或者一个固定页面上的垂直搜索）有关。设计一个好的搜索策略还有额外的困难，它必须在不完全信息下工作，因为整个页面的集合在抓取时是未知的。
Cho等人（Cho et al，1998）做了第一份抓取策略的研究。他们的数据是网站中的18万个页面，使用不同的策略分别模仿抓取。排序的方法使用了广度优先，后链计数，和部分pagerank算法。计算显示，如果你想要优先下载pagerank高的页面，那么，部分PageRank策略是比较好的，其次是广度优先和后链计数。并且，这样的结果仅仅是针对一个站点的。
Najork和Wiener (Najork and Wiener, 2001)采用实际的爬虫，对3.28亿个网页，采用广度优先研究。他们发现广度优先会较早的抓到PageRank高的页面（但是他们没有采用其他策略进行研究）。作者给出的解释是：“最重要的页面会有很多的连接到他们，并且那些链接会较早的发现，而不用考虑从哪一个主机开始。”
Abiteboul (Abiteboul 等人, 2003)，设计了一种基于OPIC（在线页面重要指数）的抓取战略。在OPIC中，每一个页面都有一个相等的初始权值，并把这些权值平均分给它所指向的页面。这种算法与Pagerank相似，但是他的速度很快，并且可以一次完成。OPIC的程序首先抓取获取权值最大的页面，实验在10万个幂指分布的模拟页面中进行。并且，实验没有和其它策略进行比较，也没有在真正的WEB页面测试。
Boldi等人(Boldi et al., 2004)的模拟检索实验进行在 从.it网络上取下的4000万个页面和从webbase得到的1亿个页面上，测试广度优先和深度优先，随机序列和有序序列。比较的基础是真实页面pageRank值和计算出来的pageRank值的接近程度。令人惊奇的是，一些计算pageRank很快的页面（特别明显的是和有序序列）仅仅可以达到很小的接近程度。
Baeza-Yates等人(Baeza-Yates et al., 2005) 在从.gr域名和.cl域名子网站上获取的300万个页面上模拟实验，比较若干个抓取策略。结果显示OPIC策略和站点队列长度，都比广度优先要好；并且如果可行的话，使用之前的爬行抓取结果来指导这次抓取，总是十分有效的。
Daneshpajouh等人(Daneshpajouh et al., 2008)设计了一个用于寻找好种子的社区。它们从来自不同社区的高PageRank页面开始检索的方法，次数明显小于使用的检索。使用这种方式，可以从以前抓取页面之中找到好的种子，使用这些种子是十分有效的。
1.1.1 限定访问链接
一个爬虫可能仅仅想找到html页面的种子而避免其他的文件类型。为了仅仅得到html的资源，一个爬虫可以首先做一个http head的请求，以在使用request方法获取所有的资源之前，决定这个网络文件的类型。为了避免要发送过多的head请求，爬虫可以交替的检查url并且仅仅对以html，htm和反斜杠结尾的文件发送资源请求。这种策略会导致很多的html资源在无意中错过，一种相似的策略是将的扩展名同已知是html文件类型的一组扩展名（如.html,.htm,.asp,.php,.aspx,反斜杠）进行比较。
一些爬虫也会限制对任何含有“？”的资源（这些是动态生成的）进行获取请求，以避免蜘蛛爬行在某一个站点中陷入下载无穷无尽的URL的困境。
1.1.2 路径检索
一些爬虫会尽可能多的尝试下载一个特定站点的资源。Cothey(Cothey,2004)引入了一种路径检索的爬虫，它会尝试抓取需要检索资源的所有URL。例如，给定一个种子地址：它将会尝试检索/hamster/menkey/,/hamster/和/ 。Cothey发现路径检索对发现独立资源，或者一些通常爬虫检索不到的的连接是非常有效的。
一些路径检索的爬虫也被称为收割机，因为他们通常用于收割或者收集所有的内容，可能是从特定的页面或者主机收集相册的照片。
1.1.3 聚焦抓取
爬虫所抓取页面的重要程度也可以表述成它与给定查询之间相似程度的函数。网络爬虫尝试下载相似页面，可以称为聚焦检索或者主题检索。关于主题检索和聚焦检索的概念，最早是由Menczer（Menczer 1997; Menczer and Belew, 1998）和Chakrabarti等人首先提出来的(Chakrabarti et al., 1999)。
聚焦检索的主要问题是网页爬虫的使用环境，我们希望在实际下载页面之前，就可以知道给定页面和查询之间的相似度。一个可能的方法就是在链接之中设置，这就是在早期时候，Pinkerton（Pinkerton，1994）曾经在一个爬虫中采用的策略。Diligenti等人（Diligenti等人，2000）建议使用已经抓取页面的内容去推测查询和未访问页的相似度。一个聚焦查询的表现的好坏主要依赖于查询主题内容的丰富程度，通常还会依赖页面查询引擎提供的查询起点。
1.1.4 抓取深层的网页
很多的页面隐藏的很深或隐藏在在看不到的网络之中。这些页面通常只有在向数据库提交查询的时候才可以访问到，如果没有链接指向他们的话，一般的爬虫是不能访问到这些页面的。谷歌站点地图协议和mod oai（Nelson等人，2005）尝试允许发现这些深层次的资源。
深层页面抓取器增加了抓取网页的链接数。一些爬虫仅仅抓取形如&a href=”url”链接。某些情况下，例如Googlebot，WEB抓取的是所有所包含的内容，标签和文本。
1.1.5 WEB3.0检索
Web3.0为下一代搜索技术定义了更先进的技术和新的准则，可以概括为和网站模板解析的概念。第三代检索技术将建立在人机巧妙的联系的基础上。
1.2重新访问策略
网络具有动态性很强的特性。抓取网络上的一小部分内容可能会花费真的很长的时间，通常用周或者月来衡量。当爬虫完成它的抓取的任务以后，很多操作是可能会发生的，这些操作包括新建，更新和删除。
从的角度来看，不检测这些事件是有成本的，成本就是我们仅仅拥有一份过时的资源。最常使用的成本函数，是新鲜度和过时性（2000年，Cho 和Garcia-Molina）
新鲜度：这是一个衡量抓取内容是不是准确的二元值。在时间t内，仓库中页面p的新鲜度是这样定义的：
新鲜度过时性:这是一个衡量本地已抓取的内容过时程度的指标。在时间t时，仓库中页面p的时效性的定义如下：
过时性在页面抓取中，新鲜度和过时性的发展
Coffman等人（Edward G. Coffman，1998）是从事爬虫对象定义的，他们提出了一个相当于新鲜度的概念，但是使用了不同的措词：他们建议爬虫必须最小化过时页面部分。他们指出网络爬行的问题就相当于多个队列，一个投票系统；这里，爬虫是服务器，不同的站点是队列。页面修改是到达的顾客，页面切换的时间是页面进入一个单一站点的间隔。在这个模型下，每一个顾客在投票系统的平均时间，相当于爬虫的平均过时性。
爬虫的目标是尽可能高的提高页面的新鲜度，同时降低页面的过时性。这一目标并不是完全一样的，第一种情况，爬虫关心的是有多少页面时过时的；在第二种情况，爬虫关心的页面过时了多少。
两种最简单的重新访问策略是由Cho和Garcia-Molina研究的（Cho 和Garcia-Molina，2003）：
统一策略：使用相同的频率，重新访问收藏中的所有的链接，而不考虑他们更新频率。
正比策略：对变化越多的网页，重新访问的频率也越高。网页访问的频率和网页变化的频率直接相关。
（两种情况下，爬虫的重新抓取都可以采用随机方式，或者固定的顺序）
Cho和Garcia-Molina证明了一个出人意料的结果。以平均新鲜度方式衡量，统一策略在模拟页面和真实的网络抓取中都比正比策略出色。对于这种结果的解释是：当一个页面变化太快的时候，爬虫将会将会在不断的尝试重新抓取而浪费很多时间，但是却还是不能保证页面的新鲜度。
为了提高页面的新鲜度，我们应该宣判变化太快的页面死罪（Cho和Garcia-Molina, 2003a）。最佳的重新访问策略既不是统一策略，也不是正比策略；保持平均页面新鲜度高的最佳方法策略包括忽略那些变化太快的页面，而保持页面平均过时性低的方法则是对每一页按照页面变化率单调变化的策略访问。两种情况下，最佳的策略较正比策略，都更接近统一策略。正如Coffman等人（Edward G.Coffman，1998）所注意到的：“为了最小化页面过时的时间，对任一个页面的访问都应该尽可能的均匀间隔地访问。”对于重新访问的详尽的策略在大体上是不可以达到的，但是他们可以从数学上得到，因为他们依赖于页面的变化。（Cho和Garcia-Molina,2003a）指出指数变化是描述页面变化的好方法，同时（Ipeirotis等人，2005）指出了怎么使用统计工具去发现适合这些变化的参数。注意在这里的重新访问策略认为每一个页面都是相同的（网络上所有的页面价值都是一样的）这不是现实的情况，所以，为了获取更好的抓取策略，更多有关网页质量的信息应该考虑进去。
1.3 平衡礼貌策略
爬虫相比于人，可以有更快的检索速度和更深的层次，所以，他们可能使一个站点瘫痪。不需要说一个单独的爬虫一秒钟要执行多条请求，下载大的文件。一个服务器也会很难响应多线程爬虫的请求。
就像Koster（Koster，1995）所注意的那样，爬虫的使用对很多工作都是很有用的，但是对一般的社区，也需要付出代价。使用爬虫的代价包括：
? ：在很长一段时间，爬虫使用相当的带宽高度并行地工作。
? 服务器超载：尤其是对给定服务器的访问过高时。
? 质量糟糕的爬虫，可能导致服务器或者瘫痪，或者会尝试下载自己无法处理的页面。
? 个人爬虫，如果过多的人使用，可能导致网络或者服务器阻塞。
对这些问题的一个部分解决方法是漫游器排除协议（Robots exclusion protocol），也被称为议定书（Koster，1996），这份协议对于指明的那一部分不能到达是一个标准。这个标准没有包括重新访问一台服务器的间隔的建议，虽然访问间隔是避免服务器超载的最有效的办法。最近的商业搜索，如Ask Jeeves，MSN和Yahoo可以在中使用一个额外的 “Crawl-delay”参数来指明请求之间的延迟。
对连接间隔时间的第一个建议由Koster 1993年给出，时间是60秒。按照这个速度，如果一个站点有超过10万的页面，即使我们拥有零延迟和无穷带宽的完美连接，它也会需要两个月的时间来下载整个站点，并且，这个服务器中的资源，只有一小部分可以使用。这似乎是不可以接受的。
Cho（Cho和Garcia-Molina, 2003）使用10秒作为访问的间隔时间，WIRE爬虫(Baeza-Yates and Castillo, 2002)使用15秒作为默认间隔。MercatorWeb(Heydon 和Najork, 1999)爬虫使用了一种自适应的平衡策略：如果从某一服务器下载一个文档需要t秒钟，爬虫就等待10t秒的时间，然后开始下一个页面。Dill等人 (Dill et al., 2002) 使用1秒。
对于那些使用爬虫用于研究目的的，一个更详细的成本-效益分析是必要的，当决定去哪一个站点抓取，使用多快的速度抓取的时候，伦理的因素也需要考虑进来。
访问记录显示已知爬虫的访问间隔从20秒钟到3-4分钟不等。需要注意的是即使很礼貌，采取了所有的安全措施来避免服务器超载，还是会引来一些的抱怨的。Brin和Page注意到：运行一个针对超过50万服务器的爬虫，会产生很多的邮件和电话。这是因为有无数的人在上网，而这些人不知道爬虫是什么，因为这是他们第一次见到。（Brin和Page，1998）
1.4 并行策略
一个并行爬虫是并行运行多个进程的爬虫。它的目标是最大化下载的速度，同时尽量减少并行的开销和下载重复的页面。为了避免下载一个页面两次，爬虫系统需要策略来处理爬虫运行时新发现的URL，因为同一个URL地址，可能被不同的爬虫进程抓到。
2. 网络爬虫体系结构
网页爬虫的高层体系结构
一个爬虫不能像上面所说的，仅仅只有一个好的抓取策略，还需要有一个高度优化的结构。
Shkapenyuk和Suel（Shkapenyuk和Suel，2002）指出：设计一个短时间内，一秒下载几个页面的颇慢的爬虫是一件很容易的事情，而要设计一个使用几周可以下载百万级页面的高性能的爬虫，将会在，I/O和网络效率，健壮性和易用性方面遇到众多挑战。
网路爬虫是的核心，他们算法和结构上的细节被当作商业机密。当爬虫的设计发布时，总会有一些为了阻止别人复制工作而缺失的细节。人们也开始关注主要用于阻止主要发布他们的的“搜索引擎”。
2.1 URL一般化
爬虫通常会执行几种类型的URL规范化来避免重复抓取某些资源。URL一般化也被称为URL标准化，指的是修正URL并且使其前后一致的过程。这里有几种一般化方法，包括转化URL为小写的，去除逗号（如‘.’ ‘..’等），对非空的路径，在末尾加反斜杠。
3. 爬虫身份识别
网络爬虫通过使用http请求的(User Agent)字段来向表明他们的身份。则通过检查的日志，使用字段来辨认哪一个爬虫曾经访问过以及它访问的频率。字段可能会包含一个可以让获取爬虫更多信息的URL。邮件抓取器和其他怀有恶意的网络爬虫通常不会留任何的字段内容，或者他们也会将他们的身份伪装成或者其他的知名爬虫。
对于网路爬虫，留下用户标志信息是十分重要的；这样，在需要的时候就可以联系爬虫的主人。有时，爬虫可能会陷入爬虫陷阱或者使一个服务器超负荷，这时，爬虫主人需要使爬虫停止。对那些有兴趣了解特定爬虫访问时间来讲，信息是十分重要的。
4.用户爬虫的例子
以下是一系列已经发布的一般用途的网络爬虫（除了主题检索的爬虫）的体系结构，包括了对不同组件命名和突出特点的简短的描述。
? RBSE （Eichmann，1994）是第一个发布的爬虫。它有两个基础程序。第一个是“spider”，抓取队列中的内容到一个关系数据库中，第二个程序是“mite”，是一个修改后的www的ASCII，负责从网络上下载页面。
? WebCrawler（Pinkerton，1994）是第一个公开可用的 用来建立的一个子程序，他使用库www来下载页面；另外一个程序使用广度优先来解析获取URL并对其排序；它还包括一个根据选定文本和查询相似程度爬行的实时爬虫。
? World Wide Web Worm (McBryan, 1994)是一个用来为文件建立包括标题和URL简单索引的爬虫。索引可以通过grep式的Unix命令来搜索。
? Google Crawler (Brin and Page, 1998)用了一些细节来描述，但是这些细节仅仅是关于使用C++和Python编写的、一个早期版本的体系结构。因为文本解析就是全文检索和URL抽取的过程，所以爬虫集成了索引处理。这里拥有一个URL服务器，用来给几个发送要抓取的URL列表。在解析的时候，新发现的URL传送给URL服务器并检测这个URL是不是已经存在，如果不存在的话，该URL就加入到URL服务器中。
? CobWeb (da Silva et al., 1999)使用了一个中央“调度者”和一系列的“分布式的搜集者”。搜集者解析下载的页面并把找到的URL发送给调度者，然后调度者反过来分配给搜集者。调度者使用，并且使用平衡礼貌策略来避免服务器超载。爬虫是使用Perl语言编写的。
? Mercator (Heydon and Najork, 1999; Najork and Heydon, 2001)是一个分布式的，模块化的使用java编写的网络爬虫。它的模块化源自于使用可互换的的“协议模块”和“处理模块”。协议模块负责怎样获取网页（例如使用HTTP），处理模块负责怎样处理页面。标准处理模块仅仅包括了解析页面和抽取URL，其他处理模块可以用来检索文本页面，或者搜集。
? WebFountain (Edwards et al., 2001)是一个与Mercator类似的分布式的模块化的爬虫，但是使用C++编写的。它的特点是一个机器控制一系列的蚂蚁机器。经过多次下载页面后，页面的变化率可以推测出来，这时，一个非线性的方法必须用于求解方程以获得一个最大的新鲜度的访问策略。作者推荐在早期检索阶段使用这个爬虫，然后用统一策略检索，就是所有的页面都使用相同的频率访问。
? PolyBot [Shkapenyuk and Suel, 2002]是一个使用C++和Python编写的分布式网络爬虫。它由一个爬虫管理者，一个或多个，一个或多个DNS解析者组成。抽取到的URL被添加到硬盘的一个队列里面，然后使用的模式处理这些URL。平衡礼貌方面考虑到了第二、三级网域，因为第三级网域通常也会保存在同一个上。
? WebRACE (Zeinalipour-Yazti and Dikaiakos, 2002)是一个使用java实现的，拥有检索模块和缓存模块的爬虫，它是一个很通用的称作eRACE的系统的一部分。系统从用户得到下载页面的请求，爬虫的行为有点像一个聪明的。系统还监视订阅网页的请求，当网页发生改变的时候，它必须使爬虫下载更新这个页面并且通知订阅者。WebRACE最大的特色是，当大多数的爬虫都从一组URL开始的时候，WebRACE可以连续地的接收抓取开始的URL地址。
? Ubicrawer (Boldi et al., 2004)是一个使用java编写的分布式爬虫。它没有中央程序。它由一组完全相同的代理组成，分配功能通过前后一致的散列计算进行。这里没有重复的页面，除非爬虫崩溃了（然后，另外一个代理就会接替崩溃的代理重新开始抓取）。爬虫设计为高伸缩性和允许失败的。
? FAST Crawler (Risvik and Michelsen, 2002) 是一个分布式的爬虫，在Fast Search&Transfer中使用，关于其体系结构的一个大致的描述可以在[citation needed]找到。
? Labrador,一个工作在开源项目Terrier Search Engine上的非开源的爬虫。
? TeezirCrawler是一个非开源的可伸缩的器，在Teezir上使用。该程序被设计为一个完整的可以处理各种类型网页的爬虫，包括各种JavaScript和HTML文档。爬虫既支持主题检索也支持非主题检索。
? Spinn3r, 一个通过博客构建反馈信息的爬虫。 Spinn3r是基于java的，它的大部分的体系结构都是开源的。
? HotCrawler,一个使用和php编写的爬虫。
? ViREL Microformats Crawler，搜索公众信息作为嵌入到网页的一小部分。
除了上面列出的几个特定的爬虫结构以外，还有Cho (Cho and Garcia-Molina, 2002)和Chakrabarti (Chakrabarti, 2003)发布的一般的爬虫体系结构。
4.1 开源爬虫
? DataparkSearch是一个在GNU GPL许可下发布的爬虫。
? GNU Wget是一个在GPL许可下，使用C语言编写的命令行式的爬虫。它主要用于和FTP服务器的。
? Heritrix是一个级的爬虫，设计的目标为对大型网络的大部分内容的定期存档，是使用java编写的。
? Ht://Dig在它和索引引擎中包括了一个网页爬虫。
? HTTrack用网络爬虫创建，以便。它使用C语言编写，在GPL许可下发行。
? ICDL Crawler是一个用C++编写，跨平台的网络爬虫。它仅仅使用空闲的CPU资源，在ICDL标准上抓取整个站点。
? JSpider是一个在GPL许可下发行的，高度可配置的，可定制的网络爬虫引擎。
? LLarbin由Sebastien Ailleret开发；
? Webtools4larbin由Andreas Beder开发；
? Methabot是一个使用C语言编写的高速优化的，使用命令行方式运行的，在2-clause BSD许可下发布的网页检索器。它的主要的特性是高可配置性，模块化；它检索的目标可以是本地文件系统，HTTP或者FTP。
? Nutch是一个使用java编写，在Apache许可下发行的爬虫。它可以用来连接Lucene的全文检索套件；
? Pavuk是一个在GPL许可下发行的，使用命令行的WEB站点工具，可以选择使用X11的图形界面。与wget和httprack相比，他有一系列先进的特性，如以为基础的文件过滤规则和文件创建规则。
? WebVac是WebBase项目使用的一个爬虫。
? WebSPHINX(Miller and Bharat, 1998)是一个由java类库构成的，基于的。它使用进行网页检索，html解析，拥有一个用来设置开始的种子URL和抽取下载的数据；
? WIRE-网络信息检索环境(Baeza-Yates 和 Castillo, 2002)是一个使用C++编写，在GPL许可下发行的爬虫，内置了几种页面下载安排的策略，还有一个生成报告和统计资料的模块，所以，它主要用于网络特征的描述；
? LWP：RobotUA(Langheinrich,2004)是一个在Perl5许可下发行的，可以优异的完成并行任务的 Perl类库构成的机器人。
? Web Crawler是一个为.net准备的的网络检索器（C#编写）。
? Sherlock Holmes收集和检索本地和网络上的文本类数据（文本文件，网页），该项目由门户网站中枢（Czech web portal Centrum）赞助并且主用商用于这里；它同时也使用在。
? 是一个基于P2P网络的免费的（在GPL许可下发行）；
? Ruya是一个在广度优先方面表现优秀，基于等级抓取的的网络爬虫。在英语和日语页面的抓取表现良好，它在GPL许可下发行，并且完全使用Python编写。按照有一个延时的单网域延时爬虫。
? Universal Information Crawler快速发展的网络爬虫，用于检索存储和分析数据；
? Agent Kernel，当一个爬虫抓取时，用来进行安排，并发和存储的java框架。
? 是一个使用C#编写，需要SQL Server 2005支持的，在GPL许可下发行的多功能的开源的机器人。它可以用来下载，检索，存储包括，文件，，图片和网页在内的各种数据。
? Dine是一个多线程的java的http。它可以在LGPL许可下进行二次开发。
网络爬虫的组成
在网络爬虫的系统中，主过程由控制器，解析器，资源库三部分组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要工作是下载网页，进行页面的处理，主要是将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉，爬虫的基本工作是由解析器完成。资源库是用来存放下载到的网页资源，一般都采用大型的数据库存储，如，并对其建立索引。
控制器是网络爬虫的中央控制器，它主要是负责根据系统传过来的URL链接，分配一线程，然后启动线程调用爬虫爬取网页的过程。
解析器是负责网络爬虫的主要部分，其负责的工作主要有：下载网页的功能，对网页的进行处理，如过滤功能，抽取特殊HTML标签的功能，分析数据功能。
主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品有：Oracle、Sql Server等。
新手上路我有疑问投诉建议参考资料 查看