开发工具:
文件大小: 9mb
下载次数: 0
上传时间: 2015-11-24
详细说明： 在自己的机器上配置spark的本地开发模式，可以用来测试spark代码是否正确，如果没问题，可以提交到spark集群上去运行，免去每次都要打包放到集群上去测试的麻烦。因为在网络上没找到合适的资源可以快速构建，所以就自己鼓捣了下，分享出来让有同样需求的同学参考下。 1.下载和安装jdk和scala，这个不用多说了，我安装的jdk版本是jdk 1.7，scala版本2.10.4 2.下载hadoop的安装包，我下载的是hadoop-2.6版本的，配置HADOOP_HOME 和配置JAVA_HOME类似，不多说了 3.把附件架包中的winutils.exe 添加到hadoop/bin目录下，这个是用来在windows下调用hadoop命令的 4.下载IDEA 配置好jdk和scala，创建scala项目 5.把附件中的架包解压后添加到scala项目的library中，因为受上传权限的限制，就不上传最大的一个spark jar包了，这个jar包只要到官网下载spark项目就能获得，我用的版本是：spark-assembly-1.3.0-cdh5.4.5-hadoop2.6.0-cdh5.4.5.jar 6.附件中还自带了一个测试文件，用来测试spark环境是否 搭建好，文件名为：Test.scala ...展开收缩
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
