R语言微博爬虫RWEIBOR语言微博爬虫RWEIBOR语言微博爬虫RWEIBO

微博爬虫启用方式 在当前目录输入pip install -r requirements.txt 在当前目录输入scrapy crawl weibocn 即可在redis / mongodb可视化界面看到相关数据信息 以下为任选scrapyd部署： 在cmd / terminal输入**（scrapyd>〜/ scrapyd.log＆）**打开scrapyd服务 在当前目录输入scrapyd-deploy部署爬虫项目 输入curl -d project = weibo -d spider

中文说明| 微博蜘蛛 持续维护的新浪微博爬虫 :rocket: :rocket: :rocket: 项目说明 版本说明 该项目分为2个分支，连续不同的需要 分支 特色 抓取量 单账号，单IP，单机器 十万级 账号池，IP池，Docker分布式 数亿级（理论无上限） 支持爬虫 用户信息抓取 用户微博抓取 用户社交关系抓取（粉丝/关注） 微博评论抓取 基于关键字和时间段（粒度到小时）的微博抓取 微博转发抓取 初步说明 项目基于weibo.cn站点抓取，抓取的分区非常丰富。具体请移步： 如何使用