斯皮德 描述 Spidr是一个通用的Ruby Web爬虫库，可以对一个站点，多个域，某些链接或无限地进行爬虫。 Spidr设计为快速且易于使用。 产品特点 遵循： a标签。 ifr a me代码。 frame标签。 受Cookie保护的链接。 HTTP 300、301、302、303和307重定向。 元刷新重定向。 HTTP基本身份验证受保护的链接。 黑名单或白名单URL基于： URL方案。 主机名 端口号 完整连结 URL扩展 可选的/robots.txt支持。 提供以下