说明:社交网络数据抓取,以及CRM系统
基于Java实现。
项目内容
项目简介
项目起因
本项目主要服务于社交网络数据抓取替代架构。
项目框架
sns-dao :数据接口层
sns-hdfs :HDFS服务层
sns-parser :页面解析层
sns-core :系统sns-core层
sns-web :API接口服务层
备注:框架持续更新中。
API文档
备注: API文档统一放在公司的wiki上。
项目架构
解析器:用于页面解析。
MySQL:用于存储基本爬虫数据。
Redis:用于数据去重
<weixin_42098251> 上传 | 大小:108kb