分布式爬网基础架构
该软件可让您按比例爬网和刮擦Internet。
它支持通过http进行基本爬网,并借助通过操纵up来控制的高度定制的无头chrome浏览器来支持复杂的爬网。
目的是能够抓取/抓取试图锁定自动机器人的网站。我们认为,只要总体网络吞吐量是保守的,并且搜寻器不会消耗任何资源或对网站造成负担,就应该允许它从公共数据集中提取信息。
平台不拥有从客户那里收集的数据。同时,他们利用上述数据产生了很多财富。这是一种尝试,使开发人员可以再次访问公共领域中的数据。
如果您想访问通过纯http请求