[spark] 大数据开发简历注意事项

说明： 详细总结了大数据开发工程师如何编写自己的简历,罗列出很多细节重点,如何写好自己的简历
<longwenyanlan> 在 上传 | 大小：349184

[spark] 大数据测试数据集

说明： 本数据是淘宝开源的用户真是产生的数据，包括商品id，用户id，商品品类id，生成时间，用户行为:pv,cut(加入购车车)。。。。
<aa518189> 在 上传 | 大小：17825792

[spark] scala plugins 2018.3.5版本

说明： scala 的plugins 2018.3.5版本，可用于idea中增加插件，切记版本要对应
<jingjingchen1014> 在 上传 | 大小：202375168

[spark] scala plugins 2016.2.0版本

说明： scala 的plugins 2016.2.0版本，可用于idea中增加插件
<jingjingchen1014> 在 上传 | 大小：48234496

[spark] scala-2.10.3安装版本

说明： 运行scala代码需要安装的scala环境，很多时候由于版本的差异会导致代码出错，大部分情况下换成2.10.3版本就ok了
<jingjingchen1014> 在 上传 | 大小：62914560

[spark] Flume对接Spark Streaming的相关jar包

说明： 这个压缩包中包含的是Flume-1.6.0对接Spark-1.6.2下的Spark Streaming时需要用到的jar包，将这些jar包放置到flume安装目录下对应的lib中
<leying521> 在 上传 | 大小：12582912

[spark] Spark优化解析

说明： 数据倾斜优化，shuffle调优，运行资源调优，Spark企业应用案例。
<qq_28626521> 在 上传 | 大小：7340032

[spark] Flume_1.6.0——Spark Streaming_2.1XXX

说明： 该压缩包下commons-lang3-3.3.2.jar，spark-streaming-flume_2.10-1.6.0.jar，scala-compiler-2.10.5.jar用于实现Flume监控文件夹中的内容变化，然后Spark Streaming对数据进行分析。
<leying521> 在 上传 | 大小：12582912

[spark] scala-compiler-2.10.5.jar

说明： 该jar包用于flume——Spark Streaming，flume监控文件，Spark Streaming对数据内容 进行分析。
<leying521> 在 上传 | 大小：13631488

[spark] window10环境搭建spark开发环境

说明： 按文档搭建，安装包在云盘上，自己本人亲自测试，在安装的时候注意下如果装有多版本JDK，spark必须是1.8以上，多个JDK中java -version和javac -version看一下；修改Hadoop文件注意；我自己测试的时候用spark框架需要自己手动加入JAR包
<lookup123> 在 上传 | 大小：3145728

[spark] Spark2.0新特性

说明： * 通过whole-stage code generation（全流程代码生成）技术将spark sql和dataset的性能提升2~10倍 * 通过vectorization（向量化）技术提升parquet文件的扫描吞吐量 * 提升orc文件的读写性能 * 提升catalyst查询优化器的性能 * 通过native实现方式提升窗口函数的性能 * 对某些数据源进行自动文件合并
<jpdcxz> 在 上传 | 大小：265216

[spark] Spark的shuffle调优

说明： spark.reducer.maxSizeInFlight 48m reduce task的buffer缓冲，代表了每个reduce task每次能够拉取的map side数据最大大小，如果内存充足，可以考虑加大，从而减少网络传输次数，提升性能 spark.shuffle.blockTransferService netty shuffle过程中，传输数据的方式，两种选项，netty或nio，spark 1.2开始，默认就是netty，比较简单而且性能较高，spark 1.5开始nio就是过期
<jpdcxz> 在 上传 | 大小：51200