© 1999-2048 dssz.net 粤ICP备11031372号
[其它] fetchbot:一个简单而灵活的Web爬网程序,它遵循robots.txt策略和爬网延迟-源码
说明:抓取机器人 软件包fetchbot提供了一个简单而灵活的Web搜寻器,它遵循robots.txt策略和搜寻延迟。 它是使用更简单的API,更少的内置功能,但同时具有更大灵活性的对的重写。 至于Go本身,有时少即是多! 安装 要安装,只需在终端中运行: go get github.com/PuerkitoBio/fetchbot 该软件包具有单个外部依赖项 。 它还集成了代码。 。 变化 2019-09-11(v1.2.0):更新robotstxt依赖项(由于提出了问题,导入路径/仓库UR<weixin_42116847> 上传 | 大小:31kb