注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 大数据学习笔记.pdf

  2. 目录 第一部分 Spark学习 ....................................................................................................................... 6 第1章 Spark介绍 ...................................................................................................

  3. 所属分类：其它

    • 发布日期：2016-11-03
    • 文件大小：6mb
    • 提供者：henni_719

  1. com.stratio.datasource:spark-mongodb_2.10:0.11.2

  2. 第三方mongo spark连接器，运行spark-submit --packages com.stratio.datasource:spark-mongodb_2.10:0.11.2可以自动下载，国内网容易下载失败，把这个文件解压后拷贝到~/.ivy2目录下即可。 com.stratio.datasource:spark-mongodb_2.10:0.11.2

  3. 所属分类：MongoDB

    • 发布日期：2016-11-30
    • 文件大小：6mb
    • 提供者：hellousb2010

  1. org.mongodb.spark:mongo-spark-connector_2.11:1.1.0

  2. mongodb-spark官方连接器，运行spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:1.1.0可以自动下载，国内网络不容易下载成功，解压后保存到~/.ivy2目录下即可。

  3. 所属分类：其它

    • 发布日期：2016-11-30
    • 文件大小：58mb
    • 提供者：hellousb2010

  1. spark升级后无logging类

  2. 在使用spark读取kafka数据时，当spark升级到2.0之后，出现如上问题：之前遇到了，当时在工程里面添加了org.apache.spark.Logging类，能够运行。

  3. 所属分类：其它

    • 发布日期：2017-08-11
    • 文件大小：86kb
    • 提供者：nma_123456

  1. Spark-submit

  2. hdp spark

  3. 所属分类：spark

    • 发布日期：2018-03-14
    • 文件大小：1mb
    • 提供者：lgs_4112

  1. web管理spark任务

  2. web管理spark任务。scala代码编写.可视化。web管理spark任务。scala代码编写.可视化。

  3. 所属分类：spark

    • 发布日期：2018-11-15
    • 文件大小：2mb
    • 提供者：qq_15209867

  1. Spark源码解读

  2. Spark源码解读迷你 RDD、Spark Submit、Job、Runtime、Scheduler、Spark Storage、Shuffle、Standlone算法、Spark On yarn。。。

  3. 所属分类：spark

    • 发布日期：2018-11-29
    • 文件大小：5mb
    • 提供者：u011409486

  1. Spark-2.3.1源码解读

  2. Spark-2.3.1源码解读。 Spark Core源码阅读 Spark Context 阅读要点 Spark的缓存，变量，shuffle数据等清理及机制 Spark-submit关于参数及部署模式的部分解析 GroupByKey VS ReduceByKey OrderedRDDFunctions那些事 高效使用mappartitions standalone模式下executor调度策略 Spark Sql源码阅读 Spark Sql源码阅读 hive on spark调

  3. 所属分类：spark

    • 发布日期：2019-10-20
    • 文件大小：15mb
    • 提供者：bruce__ray

  1. spark submit 0704峰会.zip

  2. 附件里是2020年7月4日spark submit峰会现场的ppt资料,都是讲师一手整理资料，真实可靠有效。

  3. 所属分类：互联网

    • 发布日期：2020-07-07
    • 文件大小：17mb
    • 提供者：bestchenwu123

  1. spark 基础讲解

  2. spark基础知识，包含了RDD介绍，本地调试,spark-shell 交互式,spark-submit 提交

  3. 所属分类：spark

    • 发布日期：2020-11-02
    • 文件大小：227kb
    • 提供者：testhotqq

  1. 大数据Spark YarnCluster模式源码分析——提交任务2（手把手看源码）

  2. 写在前面的话：本篇博客为原创，认真阅读需要比对spark 2.1.1的源码，预计阅读耗时30分钟，如果大家发现有问题或者是不懂的，欢迎讨论 欢迎关注公众号：后来X spark 2.1.1的源码包(有需要自取)：关注公众号【后来X】，回复spark源码 上一篇博文，我们看了在Yarn Cluster模式下，从Spark-submit提交任务开始，到最后启动了ExecutorBackend线程，也就是进行到了图中的第9步。 上一篇博文地址：https://blog.csdn.net/weixin_3

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：808kb
    • 提供者：weixin_38573171

  1. Spark常用命令

  2. 1.提交任务 hdfs dfs -put SpeakerBigData-1.0-SNAPSHOT.jar /spark/hadoop/my_jars/ 2.提交依赖 3.执行任务 /data/software/spark-2.2.1/bin/spark-submit –class com.anker.eufy.device.DeviceRePurchase –master yarn –conf spark.default.parallelism=9 –num-executors 6 –driv

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：17kb
    • 提供者：weixin_38698860

  1. Spark性能优化：资源调优篇

  2. 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spark作业的资源使

  3. 所属分类：其它

    • 发布日期：2021-02-26
    • 文件大小：405kb
    • 提供者：weixin_38591291

  1. Spark执行模式解析

  2. 提交脚本常见的语法：./bin/spark-submit\--class--master\--deploy-mode\--conf=\...#otheroptions\[application-arguments]脚本说明：（1）—-class：主类，即main函数所有的类（2）—-master:master的URL，见下面的详细说明。（3）—-deploy-mode:client和cluster2种模式（4）—-conf:指定key=value形式的配置下面对各

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：205kb
    • 提供者：weixin_38548717

  1. spark.visual.simulation：ScalaFX，Spark，Kafka，Cassandra视觉模拟-源码

  2. Spark视觉模拟 Spark应用程序执行火花源〜>流量〜>接收器管道的可视模拟。 安装 酿造水龙头自制/服务 酿造安装scala brew install sbt 酿造安装卡桑德拉 酿造安装Zookeeper 服务 酿造服务开始cassandra＆zookeeper＆kafka 酿造服务停止卡桑德拉和卡夫卡* Zookeeper 测试 sbt清洁测试 跑 sbt clean编译运行 记录中 Spark取决于log4j。 在IDE中测试和启动spark应用程序期间，提供log4

  3. 所属分类：其它

  1. Spark性能优化：资源调优篇

  2. 在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪种情况，都会导致Spark作业的运行效率低下，甚至根本无法运行。因此我们必须对Spark作业的资源使

  3. 所属分类：其它

    • 发布日期：2021-02-20
    • 文件大小：405kb
    • 提供者：weixin_38726186

  1. apache-spark-etl-pipeline-example：演示使用Apache Spark构建强大的ETL管道，同时利用开源通用集群计算的优势-源码

  2. Spark ETL 怎么跑 启动无业游民的虚拟机 vagrant up 在Vagrant VM中获取Bash Shell vagrant ssh 设置配置脚本权限（根据执行方式，您可能不需要这样做） sudo chmod +x /vagrant/config.sh 移至/ vagrant目录 cd /vagrant/config 执行配置 ./config.sh 安装Pyspark ./install_pyspark.sh 移至src目录 cd /vagrant/src 执行

  3. 所属分类：其它

    • 发布日期：2021-02-06
    • 文件大小：54mb
    • 提供者：weixin_42123296

  1. Spark执行模式解析

  2. 提交脚本常见的语法： ./bin/spark-submit\ --class --master\ --deploy-mode\ --conf=\

  3. 所属分类：其它

    • 发布日期：2021-02-01
    • 文件大小：205kb
    • 提供者：weixin_38728276

  1. Spark源码系列（七）Sparkonyarn具体实现

  2. 本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark onyarn的实现，1.0.0里面已经是一个stable的版本了，可是1.0.1也出来了，离1.0.0发布才一个月的时间，更新太快了，节奏跟不上啊，这里仍旧是讲1.0.0的代码，所以各位朋友也不要再问我讲的是哪个版本，目前为止发布的文章都是基于1.0.0的代码。在第一章《spark-submit提交作业过程》的时候，我们讲过Sparkonyarn的在cluster模式下它的main clas

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：82kb
    • 提供者：weixin_38637144

  1. Spark源码系列（一）spark-submit提交作业过程

  2. 折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Driver Program的过程。我们先看一下用SparkSubmit提交的方法吧，下面是从官方上面摘抄的内容。这个是提交到standalone集群的方式，打开spark-submit这文件，我们会发现它最后是调用了org.apache.spark.deploy.SparkSubmit这个类。我

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：118kb
    • 提供者：weixin_38723242
« 12 3 »