注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. hadoop作业调优参数整理及原理

  2. hadoop作业调优参数整理及原理，并且针对部分的原理和视图详细说明

  3. 所属分类：其它

    • 发布日期：2011-08-07
    • 文件大小：234496
    • 提供者：p_x1984

  1. Hive及Hadoop作业调优

  2. Hive及Hadoop作业调优 阿里巴巴内部hive优化经验文档

  3. 所属分类：其它

    • 发布日期：2013-11-02
    • 文件大小：1048576
    • 提供者：jancan

  1. Hadoop性能调优

  2. 从Hadoop配置文件入手，经历大量的实验，以求通过改变一些配置参数以提高Hadoop集群的性能。 从Hadoop作业调度入手，优化集群作业调度算法。

  3. 所属分类：Java

    • 发布日期：2014-04-16
    • 文件大小：1048576
    • 提供者：zdq5337

  1. Hadoop技术内幕 深入理解MapReduce架构设计与实现原理.pdf

  2. Hadoop技术内幕：深入解析MapReduce架构设计与实现原理 目录 前言 第一部分 基础篇 第1章 阅读源代码前的准备 1.1 准备源代码学习环境 1.1.1 基础软件下载 1.1.2 如何准备Windows环境 1.1.3 如何准备Linux环境 1.2 获取Hadoop源代码 1.3 搭建Hadoop源代码阅读环境 1.3.1 创建Hadoop工程 1.3.2 Hadoop源代码阅读技巧 1.4 Hadoop源代码组织结构 1.5 Hadoop初体验 1.5.1 启动Hadoop 1

  3. 所属分类：Java

    • 发布日期：2015-11-24
    • 文件大小：48234496
    • 提供者：yuan_xw

  1. Spark在不同存储格式下的性能对比

  2. 笔者发现，很多同学在各种项目中尝试使用Spark，大多数同学最初开始尝试使用Spark的原因都很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark进行合理的调优，Spark作业的执行速度可能会很慢，甚至根本体会不到Spark作为一种快速大数据计算引擎的优势。 事实上，Spark系统的性能调优是一个很复杂的过程，需要对Spark以及Hadoop有足够的知识储备，从硬件、操作系统、HDFS、数据存储格

  3. 所属分类：其它

    • 发布日期：2017-03-06
    • 文件大小：5242880
    • 提供者：vv8086

  1. 美团1万台 Hadoop 集群 YARN 的调优之路

  2. 背景 YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。 美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。 离线业务主要运行的是Hive on MapReduce， Spark SQL为主的数据仓库作业。 实时业务主要运行Spark Streaming，Flink为主的实时流计算作业。 机器学习业务主要运行TensorFlow，MXNet，MLX（美团点评自研的大规模机器学习系统）等计算作业。 YA

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：747520
    • 提供者：weixin_38689113

  1. hadoop作业调优参数整理及原理

  2. 当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuffer，即上图的bufferinmemory），map会将已经产生的部分结果先写入到该buffer中，这个buffer默认是100MB大小，但是这个大小是可以根据job提交时的参数设定来调整

  3. 所属分类：其它

    • 发布日期：2021-03-02
    • 文件大小：216064
    • 提供者：weixin_38724349

  1. hadoop作业调优参数整理及原理

  2. 当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuffer，即上图的bufferinmemory），map会将已经产生的部分结果先写入到该buffer中，这个buffer默认是100MB大小，但是这个大小是可以根据job提交时的参数设定来调整

  3. 所属分类：其它

    • 发布日期：2021-03-02
    • 文件大小：216064
    • 提供者：weixin_38689113

  1. hadoop作业调优参数整理及原理

  2. 当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuffer，即上图的buffer inmemory），map会将已经产生的部分结果先写入到该buffer中，这个buffer默认是100MB大小，但是这个大小是可以根据job提交时的参数设定来调

  3. 所属分类：其它

    • 发布日期：2021-01-31
    • 文件大小：216064
    • 提供者：weixin_38570296

  1. hadoop作业调优参数整理及原理

  2. 当maptask开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。如上图所示，每一个map都会对应存在一个内存buffer（MapOutputBuffer，即上图的buffer inmemory），map会将已经产生的部分结果先写入到该buffer中，这个buffer默认是100MB大小，但是这个大小是可以根据job提交时的参数设定来调

  3. 所属分类：其它

    • 发布日期：2021-01-31
    • 文件大小：216064
    • 提供者：weixin_38723461