第27页 第3章 信息采集与信息源

1、使用多台计算机的一个原因是，将爬虫程序放在采集信息的网站附近。长距离网络连接会具有较低的吞吐量和较长的延迟时间。
2、为了减少爬虫需要记住的网站数目。爬虫程序必须记住所有它曾经进行过信息采集的URL，以及队列中存放的即将进行采集的URL。这些URL必须易于存取，因为采集到的每个页面都含有新的链接，需要将这些新的连接添加到采集队列中。爬虫程序中的队列不能含有重复的URL或已经采集过的页面URL，每一个新的URL必须与队列中的所有元素进行检查，并与已经采集过的所有URL进行检查。这个用于查找的数据结构需要存放在RAM中，否则，计算机采集页面的速度将严重受到限制。将信息采集的任务分摊给多台计算机，可以降低存储和检查的开销。
3、可以使用大量的计算资源，包括用于分析的CPU资源，用于页面采集的网络带宽。对网络中的大部分页面进行采集，仅使用单独的一台计算机需要 出来大量工作。