« CMS系统的演进 | Main | 互联网结构化数据时代 »
December 16, 2005
从Larbin看互联网爬虫设计
于敦德
2005.12.16
转载请注明出处
互联网是一个庞大的非结构化的数据库，将数据有效的检索并组织呈现出来有着巨大的应用前景，尤其是类似RSS的以XML为基础的结构化的数据越来越多，内容的组织方式越来越灵活，检索组织并呈现会有着越来越广泛的应用范围，同时在时效性和可读性上也会有越来越高的要求。这一切的基础是爬虫，信息的来源入口。一个高效，灵活可扩展的爬虫对以上应用都有着无可替代的重要意义。
要设计一个爬虫，首先需要考虑的效率。对于网络而言，基于TCP/IP的通信编程有几种方法。
第一种是单线程阻塞，这是最简单也最容易实现的一种，一个例子：在Shell中通过curl，pcregrep等一系统命令可以直接实现一个简单的爬虫，但同时它的效率问题也显而易见：由于是阻塞方式读取，dns解析，建立连接，写入请求，读取结果这些步骤上都会产生时间的延迟，从而无法有效的利用服务器的全部资源。
第二种是多线程阻塞。建立多个阻塞的线程，分别请求不同的url。相对于第一种方法，它可以更有效的利用机器的资源，特别是网络资源，因为无数线程在同时工作，所以网络会比较充分的利用，但同时对机器CPU资源的消耗也是比较大，在用户级多线程间的频繁切换对于性能的影响已经值得我们考虑。
第三种是单线程非阻塞。这是目前使用的比较多的一种做法，无论在client还是server都有着广泛的应用。在一个线程内打开多个非阻塞的连接，通过poll/epoll/select对连接状态进行判断，在第一时间响应请求，不但充分利用了网络资源，同时也将本机CPU资源的消耗降至最低。这种方法需要对dns请求，连接，读写操作都采用异步非阻塞操作，其中第一种比较复杂，可以采用adns作为解决方案，后面三个操作相对简单可以直接在程序内实现。
效率问题解决后就需要考虑具体的设计问题了。
url肯定需要一个单独的类进行处理，包括显示，分析url，得到主机，端口，文件数据。
然后需要对url进行排重，需要一个比较大的url Hash表。
如果还要对网页内容进行排重，则还需要一个Document Hash表。
爬过的url需要记录下来，由于量比较大，我们将它写到磁盘上，所以还需要一个FIFO的类(记作urlsDisk)。
现在需要爬的url同样需要一个FIFO类来处理，重新开始时，url会从定时从爬过的url FIFO里取出来，写到这个FIFO里。正在运行的爬虫需要从这个FIFO里读数据出来，加入到主机类的url列表里。当然，也会从前一个FIFO里直接读url出来，不过优先级应该比这个里面出来的url低，毕竟是已经爬过的。
爬虫一般是对多个网站进行爬取，但在同时站点内dns的请求可以只做一次，这就需要将主机名独立于url，单独有一个类进行处理。
主机名解析完成后需要有一个解析完成的IP类与之应用，用于connect的时候使用。
HTML文档的解析类也要有一个，用来分析网页，取出里面的url，加入到urlsDisk。
再加上一些字符串，调度类，一个简单的爬虫基本上就完成了。
以上基本上是Larbin的设计思路，Larbin在具体实现上还有一些特殊的处理，例如带了一个webserver，以及对特殊文件的处理。Larbin有一点设计不不太好，就是慢的访问会越来越多，占用大量的连接，需要改进，另外如果对于大规模的爬虫，这仅仅实现了抓取的部分，要分布式的扩展还需要增加url的集中管理与调度以及前台spider的分布式算法。
Donald 发表于 December 16, 2005 02:54 AM | Search
Trackback Pings
TrackBack URL for this entry:
http://www.example.net.cn/cgi-bin/mt/mt-tb.cgi/45
Listed below are links to weblogs that reference 从Larbin看互联网爬虫设计:
» Cash Advance from Cash Advance
Cash Advance http://www.yes2cashadvance.com [Read More]
Tracked on February 7, 2006 08:27 AM
» Cash Advance from Cash Advance
Cash Advance http://www.yes2cashadvance.com [Read More]
Tracked on February 7, 2006 12:09 PM
» dark magician girl from dark magician girl
amateur milf interracial teens nylon stockings rht bang bus jessica [Read More]
Tracked on March 26, 2006 06:47 AM
» first time sex from first time sex
sexy cheerleader xxx teens free fuck pics lesbian teen movies [Read More]
Tracked on March 26, 2006 08:23 AM
» first time sex from first time sex
sexy cheerleader xxx teens free fuck pics lesbian teen movies [Read More]
Tracked on March 26, 2006 08:23 AM
» bikini girls from bikini girls
amateur teens scat fetish drunk girls naked ma... [Read More]
Tracked on April 3, 2006 08:12 PM
» this is very good from this is very good
good related article [Read More]
Tracked on April 7, 2006 09:00 AM
» this is very good from this is very good
good related article [Read More]
Tracked on April 8, 2006 01:34 AM
以往文章
自由增值模型SEO你的msn签名
结构化内容的复用
终于，Google桌面可以用了
纸媒与网媒
评论
爬虫设计上要考虑的东西太多了
这个系统工程实在不是一个人之力能够搞定的
Posted by: 漂流的睡袋 at December 23, 2005 12:16 AM
一个藏袍，嘿嘿，我开始慢慢注意你
Posted by: ykzj at April 20, 2006 10:00 AM