[spark] intellij开发Spark配置说明

说明： 纯新手配置Intellij，可完全上手。并总结可能遇到的问题提示及解决方法，部分内容概述如下： 问题如何解决：NoSuchMethodError: scala.collection.JavaConverters，版本不匹配错误；java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStream，无Hadoop包错误 Project创建及配置： 1. 可通过Import spark-2.4.2-bin-hadoop2.7中的
<wangshixia1988> 在 上传 | 大小：132120576

[Storm] 大数据流式计算系统综述.pdf

说明： Storm是一个分布式的、高容错的实时计算系统。Storm适用的场景： 　　1、Storm可以用来用来处理源源不断的消息，并将处理之后的结果保存到持久化介质中。 　　2、由于Storm的处理组件都是分布式的，而且处理延迟都极低，所以可以Storm可以做为一个通用的分布式RPC框架来使用。
<dengyongpeng> 在 上传 | 大小：898048

[spark] spark-2.2.0-bin-hadoop2.6.tgz

说明： spark-2.2.0-bin-hadoop2.6.tgz主要是应用与Spark on YARN模式的安装包
<g2013330306> 在 上传 | 大小：201326592

[spark] 大数据技术之Spark.docx

说明： 很好的很详细的讲解大数据的相关知识，是一个很好的学校的课件和大家分享
<fwk19840301> 在 上传 | 大小：47185920

[算法与数据结构] 大数据技术之Oozie.doc

说明： 很好的很详细的讲解大数据的相关知识，是一个很好的学校的课件和大家分享
<fwk19840301> 在 上传 | 大小：159744

[kafka] 大数据技术之Kafka.doc

说明： 很好的很详细的讲解大数据的相关知识，是一个很好的学校的课件和大家分享
<fwk19840301> 在 上传 | 大小：4194304

[Hbase] 大数据技术之HBase.doc

说明： 很好的很详细的讲解大数据的相关知识，是一个很好的学校的课件和大家分享
<fwk19840301> 在 上传 | 大小：5242880

[算法与数据结构] 大数据技术之Flume.docx

说明： 很好的很详细的讲解大数据的相关知识，是一个很好的学校的课件和大家分享
<fwk19840301> 在 上传 | 大小：8388608

[Hadoop] mongodbreader-0.0.1-SNAPSHOT.zip

说明： 背景：由于在mongoDB的业务库数据量较大，且使用方比较多，搜索，业务方和数仓，使得主节点和其他从节点压力很大，为了不影响正常的业务，DBA新增了一台隐藏节点作为搜索和数仓抽取数据用，用datax抽取mongo的数据默认是主节点优先，所以需要修改datax-mongodbreader的源码，使得抽数据时只访问隐藏节点
<zuochang_liu> 在 上传 | 大小：12288

[Hadoop] hdfsreader-0.0.1-SNAPSHOT.jar

说明： 用datax抽取hdfs数据，当hdfs文件夹下面有空文件时会报错，所以修改源码过滤掉空文件
<zuochang_liu> 在 上传 | 大小：29696

[Hive] 大数据技术之Hive

说明： 非常全面的hive学习笔记，出自尚硅谷。
<arne_> 在 上传 | 大小：24117248

[Hive] 测试数据-cdr_summ_imei_cell_info

说明： 测试数据--统计出掉线率最高的前10基站----统计出掉线率最高的前10基站测试数据
<arne_> 在 上传 | 大小：56623104