开发工具:
文件大小: 326kb
下载次数: 0
上传时间: 2019-07-02
详细说明：Spark是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速。Spark非常小巧玲珑， 由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码 只有63个Scala文件，非常短小精悍。project/plugins. sbt
logLevel Level Warn
resolvers + Resolver url("artifactory
url(http://scalasbt.artifactoryonline.com/scalasbt/sbt-plugin-releases"))
Resolver. ivy
StylePatterns)
resolvers+=typesaferepositoryathttp:/repo.typesafe.com/typesafe/releases/
resolvers+=sprayrepository"athttp://repo.spraycc/
addsbtPlugin (" com. eed3si9n" %0sbt-assembly%00.9.2")
addsbtPlugin( com typesafe. sbteclipse"%sbteclipse-plugin"%02.2.0")
addsbtPlugin ("com github. mpeltonen"%sbt-idea%1.5.1")
addsbtPlugin ("net. virtual-void"%osbt-dependency-graph"%00.7.3)
测试源文件: SparkPi. scala
package org. apache. spark. examples
import scala. math random
import org. apache. spark.
import sparkContext
/** Computes an approximation to pi */
object SparkPi t
def main(args: Array[String
if (args,length ==0t
ystem err println ("Usage: Spark Pi []")
System. exit(1
val spark new Spark Context(args(0),"SparkPi
System getenv( SPARK_HOME ) Spark Context. jarofClass(this getclass))
val slices if(args length >1) args(1).toInt else 2
val n= 100000* slices
val count= spark parallelize(l to n, slices). mapii=>
val x= random * 2-1
val y random *2-1
if(x*x+y*y< 1 1 else 0
f reduce(+)
printIn( pi is roughly +4.0 count/n)
spark. stop
文件都准备好后,打包
sbt compile package
SPARK_ JAR=hdfs: // bdcluster/user/spark/share/lib/spark-assemblyjar
/usr/lib/spark/bin/spark-class org apache. spark deploy yarn. Client
--jar/tmp/sbt/sbtest/target/scala-210/sbtest_2.10-1.0.jar
class org. apache. spark examples. SparkPi
-args yarn-standalone --args 10
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
