文件名称:
data_engineering_task-源码
开发工具:
文件大小: 122kb
下载次数: 0
上传时间: 2021-03-13
详细说明：数据工程任务
数据工程任务包含Kafka和Spark示例项目。
Kafka示例项目
Kafka示例项目为Kafka应用程序开发和三个示例应用程序提供了完整的环境设置：
CSV来源的数据生产者，
Kafka Streams应用程序用于数据转换和
kafka使用者可以汇入PostgresDB。
可在/kafka_example文件夹中的README.md中找到启动Kafka示例项目的指南。
Spark示例项目
Spark流示例项目包含用于Spark应用程序开发的完整环境设置，以及用于网站访问量计算的两个单独的Spark任务：
第一项任务根据类别和网站计算访问统计信息。
第二项任务是计算Firefox用户在该网站的总用户访问量中所占的百分比。
可在/spark_example文件夹中的README.md中找到启动Spark示例项目的指南。
CSV数据集
可以从下载项目所需的CSV文件
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
