注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. spark/hadoop读取s3所需要的外部依赖包

  2. aws-java-sdk-1.7.4.jar hadoop-aws-2.7.2.jar 引入代码即可在读写中国区亚马逊s3

  3. 所属分类：Java

    • 发布日期：2016-09-06
    • 文件大小：9mb
    • 提供者：utopia_1919

  1. Spark生态圈简介

  2. Spark 生态圈是加州大学伯克利分校的 AMP 实验室打造的，是一个力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的平台。 AMP 实验室运用大数据、云计算、通信等各种资源及各种灵活的技术方案，对海量不透明的数据进行甄别并转化为有用的信息，以供人们更好地理解世界。该生态圈已经涉及机器学习、数据挖掘、数据库、信息检索、自然语言处理和语音识别等多个领域。 如图 1 所示，Spark 生态圈以 Spark Core 为核心，从 HD

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：93kb
    • 提供者：weixin_38596117

  1. Spark：比Hadoop更强大的分布式数据计算项目

  2. Spark是一个由加州大学伯克利分校（UCBerkeleyAMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilientdistributeddatasets)，提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持复杂的数据挖掘算法和图计算算法。Spark使用Scala开发，使用Mesos作为底层的调度框架，可以和hadoop和Ec2紧密集成，直接读取hdfs或S3的文件进行计算并把结果写回hdfs或S3，是Hadoop

  3. 所属分类：其它

    • 发布日期：2021-03-01
    • 文件大小：408kb
    • 提供者：weixin_38647822

  1. 模板火花与集成测试-源码

  2. 模板火花与集成测试 目的 创建一个简单的Spark / S3 ETL并在本地对其进行集成测试 解决方法是如何： 设置，配置和使用本地Spark，S3Mock和S3Client进行本地集成测试 利用设计模式和主体（例如适配器模式，蛋糕模式，依赖关系反转）来编写干净且可测试的ETL 注意：该应用程序在功能上是准系统（它仅读取一些数据，进行分组并写入S3）

  3. 所属分类：其它

    • 发布日期：2021-02-18
    • 文件大小：18kb
    • 提供者：weixin_42104366

  1. Spark生态系统组件

  2. 言：随着大数据技术的发展，实时流计算、机器学习、图计算等领域成为较热的研究方向，而Spark作为大数据处理的“利器”有着较为成熟的生态圈，能够一站式解决类似场景的问题。那么Spark生态系统中有哪些组件你知道吗？下面让我们跟着本文一同了解下 这些不可或缺的组件。本文选自《图解Spark：核心技术与案例实战》。Spark生态系统以SparkCore为核心，能够读取传统文件（如文本文件）、HDFS、Amazon S3、Alluxio和NoSQL等数据源，利用Standalone

  3. 所属分类：其它

    • 发布日期：2021-02-01
    • 文件大小：346kb
    • 提供者：weixin_38746918

  1. Spark：比Hadoop更强大的分布式数据计算项目

  2. Spark是一个由加州大学伯克利分校（UC BerkeleyAMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributeddatasets)，提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持复杂的数据挖掘算法和图计算算法。Spark使用Scala开发，使用Mesos作为底层的调度框架，可以和hadoop和Ec2紧密集成，直接读取hdfs或S3的文件进行计算并把结果写回hdfs或

  3. 所属分类：其它

    • 发布日期：2021-01-30
    • 文件大小：408kb
    • 提供者：weixin_38606404