关于爬虫技术 一、什么是爬虫 我这里所说的爬虫就是传统的搜索引擎，因为我们一度把YAHOO一类的目录也称作搜索引擎，所以这个概念已经有些混乱了。 搜索引擎：也叫 "蜘蛛"或 "网络爬虫"，为了能产生web页的目录册，搜索引擎持续不停的访问internet上的web站点。由于他们是自动运行，并将大量的web页进行索引，搜索引擎也经常能够发现没有列在目录中的信息。 "搜索引擎"这个词一般都用来描述真正的搜索引擎和目录，其实他们并不是一回事，区别在于结果 列表是如何编译生成的。 二、搜索引擎与目录的