利用Spark Streaming实现WordCount 需求：监听某个端口上的网络数据，实时统计出现的不同单词个数。 1，需要安装一个nc工具：sudo yum install -y nc 2，执行指令：nc -lk 9999 -v import os #### 配置spark driver和pyspark运行时，所使用的python解释器路径 PYSPARK_PYTHON = # pyspark 路径 JAVA_HOME=' ' # java 路径 SPARK_HOME =

一、案例简介 使用 netcat 工具向 9999 端口不断的发送数据，通过 SparkStreaming 读取端口数据并统 计不同单词出现的次数 。 二、netcat操作 1、虚拟机中安装netcat [roothadoop1 spark]# yum install -y nc 2、启动程序并发送数据 [roothadoop1 spark]# nc -lk 9999 三、代码实现 1、maven依赖 org.apache.spark spark-streaming_2.11 2.1.1 2、j