Java爬虫实例类说明如下： DownLoadFile 文件下载 HtmlParserTool Html解析 MyCrawler 爬虫 ConsistentHash 一致性Hash WordCount Map-Reduce算法例子 Retrive 文件下载 IP 获得IP地址示例 ip QQ纯真数据库示例 HtmlParser 网页内容提取库HtmlParser的源码项目 nekohtml-1.9.7 nekohtml的源码项目 RhinoTest 测试js解析 ExtractContext

Scala Spark WordCount的实现如下 安 装 环 境： centOS 7,64位虚拟机 hadoop2.7.2 jdk1.8 scala 2.11.8 spark 2.1.1 on1是我的主机名 一、用idea创建一个Maven工程 在pom文件里的dependencies标签下添加依赖 org.apache.spark spark-core_2.11 2.1.1 二、写一个Scala的object类 import org.apache.s