文件名称:
基于docker的分布式爬虫服务Zerg.zip
开发工具:
文件大小: 310kb
下载次数: 0
上传时间: 2019-07-19
详细说明： zerg 基于docker的分布式爬虫服务特性多机多 IP，充分利用 IP 资源服务自动发现和注册（基于 etcd 和 registrator）负载均衡服务端客户端通信基于 gRPC，支持多种编程语言的客户端可设置抓取超时支持 GET、HEAD、POST 方法支持自定义 header如何部署第一步：配置 etcd我把 etcd 容器化了，并开发了脚本使得部署 etcd cluster 非常容易，见 github.com/huichen/etcd_docker为了容灾，请至少在三台服务器上运行 etcd 实例。为了方便调用，你可以固定 etc endpoint 的端口号，并在所有机器上手工添加 etcd host 的 hostname。第二步：启动 re gistrator 服务发现程序你需要在集群的每一台服务器上都运行 registrator，这使得我们可以自动发现和注册分布式服务docker run -d --name=registrator --net=host --volume=/var/run/docker.sock:/tmp/docker.sock \ gliderlabs/registrator etcd:///services请把上面的 etcd 接入点换成你的 etcd 地址。第三步：部署 zerg 服务进入 service_container 子目录，然后运行./build_docker_image.sh这会生成 unmerged/zerg 容器。然后在集群的每台服务器上启动容器：docker run -d -P unmerged/zergregistrator 会自动注册这些服务到 etcd。如果单机有多个 IP，你可以单机启动多个容器，并在 -P 中分别指定 IP。第四步：调用样例代码进入 examples 目录，运行go run zerg_crawl.go --endpoints http://<你的 etcd host:ip> --url http://taobao.com可选步骤1、重新生成 protobuf serviceprotoc protos/crawl.proto --go_out=plugins=grpc:protos -I protos/2、本地测试启动本地服务。进入 service_container 目录，然后运行go run service.go然后进入 examples 目录，运行go run single_machine_crawl.go --url http://taobao.com 标签：Zerg
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
