随着Internet的快速发展，Web上的信息资源也呈指数级增长，搜索引擎已经成为网络用户获取各种信息的必备工具。对于搜索引擎来说，要抓取互联网上的所有信息几乎是不可能的，从公布的数据来看，容量最大的搜索引擎也只不过是抓取了整个网络信息的40%左右。传统的搜索引擎（如Google、Baidu、Yahoo等）大多数都是面向所有信息的搜索引擎，是一种通用搜索引擎。 　　主题网络蜘蛛是最近几年兴起的研究热点，当"蜘蛛"程序出现时，现代意义上的搜索引擎才初露端倪。它实际上是一种电脑"机器人",电脑"机器