搜索引擎

1、使用多台计算机的一个原因是，将爬虫程序放在采集信息的网站附近。长距离网络连接会具有较低的吞吐量和较长的延迟时间。 2、为了减少爬虫需要记住的网站数目。爬虫程序必须记住所有它曾经进行过信息采集的URL，以及队列中存放的即将进行采集的URL。这些URL必须易于存取，因为采集到的每个页面都含有新的链接，需要将这些新的连接添加到采集队列中。爬虫程序中的队列不能含有重复的URL或已经采集过的页面URL，每一个新的URL必须与队列中的所有元素进行检查，并与已经采集过的所有URL进行检查。这个用于查找的数据结构需要存放在RAM中，否则，计算机采集页面的速度将严重受到限制。将信息采集的任务分摊给多台计算机，可以降低存储和检查的开销。 3、可以使用大量的计算资源，包括用于分析的CPU资源，用于页面采集的网络带宽。对网络中的大部分页面进行采集，仅使用单独的一台计算机需要 出来大量工作。

研究表明，在一个大型的信息采集系统中，30%的网页是和另外70%的网页信息完全重复或近似重复的。

我一直在尝试理解这些词的意思。——Spock，《星际迷航之最后的边境》

压缩在节省空间的同时，也带来一定的开销，处理器必须解压数据才能使用。因此，只选那些压缩比高的压缩算法并不够。为了提高性能，多个处理器共享存储器，压缩的数据使得处理器能更有效地共享存储器带宽。