大数据面试资料， 按大数据组件HAOOP FLUME KAFKA HIVE HBASE SPARK STORM SQOOP整理的面试知识集锦

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 1.Spark有几种部署模式，各个模式的特点 1.本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。方便调试，本地模式分三类 local：只启动一个executor local[k]: 启动k个executor local：启动跟cpu数目相同的 executor 2.standalone模式 分布式部署集群，自带完整的服务，资源管理和任务监控是Spark自己监控，这个模式也是其他模

Spark大会上，所有的演讲嘉宾都认为shuffle是最影响性能的地方，但是又无可奈何。之前去百度面试hadoop的时候，也被问到了这个问题，直接回答了不知道。这篇文章主要是沿着下面几个问题来开展：shuffle过程的划分？shuffle的中间结果如何存储？shuffle的数据如何拉取过来？Spark的操作模型是基于RDD的，当调用RDD的reduceByKey、groupByKey等类似的操作的时候，就需要有shuffle了。再拿出reduceByKey这个来讲。reduceByKey的时候，

Spark大会上，所有的演讲嘉宾都认为shuffle是最影响性能的地方，但是又无可奈何。之前去百度面试hadoop的时候，也被问到了这个问题，直接回答了不知道。这篇文章主要是沿着下面几个问题来开展：shuffle过程的划分？shuffle的中间结果如何存储？shuffle的数据如何拉取过来？Spark的操作模型是基于RDD的，当调用RDD的reduceByKey、groupByKey等类似的操作的时候，就需要有shuffle了。再拿出reduceByKey这个来讲。reduceByKey的时候，

java_learning_practice 学习java的积累示例：面试高频算法，akka，多线程，zookeeper，Disruptor，NIO，Netty，Thrift等 项目组成 收集总结初步&&大数据方向看到的优秀文章和系列博客；不定期更新pdf 阿卡口味 akka学习演示 基本学习 总结刷leetcode过程中一些值得归类记录的算法题解；包含关键思想分析等；不定期更新pdf 一些算法，语言方面的练习 算法：leetcode，nowcoder，swordoffer，以及算法红皮书等 语