注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. Spark生产优化总结

  2. Spark生产优化总结 ，企业中Spark作业的调优等的总结，spark 任务详解、调度、资源分配

  3. 所属分类：spark

    • 发布日期：2018-04-27
    • 文件大小：895kb
    • 提供者：qq_39336564

  1. spark 总结

  2. 总结了spark的运行模式，作业提交，rdd,spark SQL的使用，sparking Streaming的使用以及性能优化心得

  3. 所属分类：spark

    • 发布日期：2018-05-01
    • 文件大小：1mb
    • 提供者：u013385018

  1. SparkSql技术

  2. 目录 一：为什么sparkSQL？ 3 1.1：sparkSQL的发展历程 3 1.1.1：hive and shark 3 1.1.2：Shark和sparkSQL 4 1.2：sparkSQL的性能 5 1.2.1：内存列存储（In-Memory Columnar Storage） 6 1.2.2：字节码生成技术（bytecode generation，即CG） 6 1.2.3：scala代码优化 7 二：sparkSQL运行架构 8 2.1：Tree和Rule 9 2.1.1：Tree

  3. 所属分类：spark

    • 发布日期：2018-08-16
    • 文件大小：5mb
    • 提供者：silentwolfyh

  1. spark优化实践小记

  2. 此文档主要对日常使用spark过程中可能遇到的一些性能优化问题做了一次整理总结

  3. 所属分类：spark

    • 发布日期：2018-09-21
    • 文件大小：19kb
    • 提供者：u011750989

  1. 数据优化分析（png图片）

  2. spark性能分析 对spark的总结 分配更多资源 调节任务并行度 对公用的RDD进行持久化 广播大变量 使用Kryo序列化...

  3. 所属分类：spark

    • 发布日期：2018-11-27
    • 文件大小：460kb
    • 提供者：qq_43155285

  1. spark以及mr的个人心得

  2. 描述自己对spark以及mr的个人心得总结,对spark优化,mr的主体流程的所有解读

  3. 所属分类：Java

    • 发布日期：2019-03-24
    • 文件大小：15kb
    • 提供者：qq_35111561

  1. Spark总结PPT

  2. Spark总结PPT介绍spark常用的方法，shuffle，优化方法等

  3. 所属分类：spark

    • 发布日期：2019-03-25
    • 文件大小：2mb
    • 提供者：u011992387

  1. 大数据系统基础（自主模式）-清华大学-王建民、徐葳、陈康等 视频.txt

  2. │ docs.rar │ 免责声明.txt │ 抓取档目录结构.txt │ 课程介绍及抓取说明.txt │ 课程封面图-大数据系统基础（自主模式）.jpg │ 课程简介-大数据系统基础（自主模式）.mp4 │ ├─1. 绪论 │ 0 什么是大数据.mp4 │ 1 大数据典型应用.mp4 │ 2 大数据的特点.mp4 │ 3 大数据技术体系.mp4 │ 4 大数据生态系统.mp4 │ 5 大数据技术挑战.mp4 │ 6 课程内容.mp4 │ ├─2.云计算 │ 0 2.1大数据和云计算关系概述.

  3. 所属分类：专业指导

    • 发布日期：2019-05-29
    • 文件大小：114byte
    • 提供者：drjiachen

  1. Redis 4.x Cookbook 中文版 高清

  2. Redis是一个十分热门的内存数据库，号称后端的“瑞士军刀”，它拥有诸多优良特性，已经被越来越多的公司采用，值得每一位Web开发者学习。通过本书讲述的Redis在设计、开发和运维等方面的80多个实战案例，读者不仅可以由浅入深地学习到有关Redis的几乎所有知识，还可以将案例中所讲解的内容直接用于包括设计、开发和运维等在内的各类生产实践。本书中的每一个案例、每一个案例中所涉及的各种知识、命令和工具等，均来自于作者一线企业级应用的总结；本书中总结的各类参数配置和故障诊断的案例等，也均来自于作者真实企

  3. 所属分类：Web开发

    • 发布日期：2019-05-24
    • 文件大小：156mb
    • 提供者：wangcx

  1. java大数据面试基础v2.docx

  2. 本文总结java 大数据等基础知识，可用于面试前的查漏补缺；包含java集合、多线程、异常；包含hadoop、hive、storm、spark、zookeeper、kafka等技术；包括mysql数据库的查询及优化知识点；包括vue、react等前端框架；也包括部门机器学习相关知识；供大家参考。

  3. 所属分类：Java

    • 发布日期：2020-09-29
    • 文件大小：7mb
    • 提供者：long199366

  1. java大数据面试基础v3.docx

  2. 本文总结java 、大数据有关基础技术知识，可用于面试前的查漏补缺；包含java集合、多线程、异常；包含hadoop、hive、storm、spark、zookeeper、kafka、flume等技术；包括mysql数据库的查询及优化知识点；包括vue、react等前端框架；也包括部门机器学习相关知识；包括版本管理、管理过程。供大家参考。 在《java大数据面试基础v2》的基础上进行了完善补充和丰富，增加flume模块，完善版本管理模块，部分章节进行了补充和完善。

  3. 所属分类：Java

    • 发布日期：2020-10-07
    • 文件大小：9mb
    • 提供者：long199366

  1. java大数据面试基础v2.docx

  2. 本文总结java 大数据等基础知识，可用于面试前的查漏补缺；包含java集合、多线程、异常；包含hadoop、hive、storm、spark、zookeeper、kafka等技术；包括mysql数据库的查询及优化知识点；包括vue、react等前端框架；也包括部门机器学习相关知识；供大家参考。

  3. 所属分类：Hadoop

    • 发布日期：2020-10-07
    • 文件大小：7mb
    • 提供者：long199366

  1. Spark优化总结

  2. 一、资源 任何计算都不不开资源的开销，如何把资源利用到极致显得非常重要。 drive process向Resource Manager申请任务资源，yarn给executor进程分配资源，Executors的内存重要分为三种： （1）executor内存（60%）：执行内存，执行shuffle（join）的时候，shuffle会用这个内存区来存储数据，如果溢出写磁盘        （2）storage内存（20%）：存储缓存，cache、presist、broadcast        （3）o

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：59kb
    • 提供者：weixin_38621150

  1. Spark踩坑记——SparkStreaming+Kafka

  2. 在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单阐述Sparkstreaming+kafka在舆情项目中的应用，最后将自己在SparkStreaming+kafka的实际优化中的一些经验进行归纳总结。（如有任何纰漏欢迎补充来踩，我会第一时间

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：303kb
    • 提供者：weixin_38705699

  1. SparkSQL基础知识总结

  2. 一个sql过来解析成unresolved，只拿出来字段名和表名但是不知道字段名和表名在哪个位置需要通过Schema确定表的位置等信息，生成逻辑执行计划，Logical,知道数据从哪里来了通过一些列优化过滤生成物理执行计划Physical最后把物理执行计划放到spark集群上运行SparkSQL就是写SQL,这是错误的观点SparkSQL不是SQL,超出SQL,因为SQL是其一部分SparkSQL是处理结构化数据的，只是Spark中的一个模块SparkSQL与HiveonSpark不是一个东西Sp

  3. 所属分类：其它

    • 发布日期：2021-02-24
    • 文件大小：562kb
    • 提供者：weixin_38736760

  1. Spark踩坑记——SparkStreaming+Kafka

  2. 在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单阐述Sparkstreaming+kafka在舆情项目中的应用，最后将自己在SparkStreaming+kafka的实际优化中的一些经验进行归纳总结。（如有任何纰漏欢迎补充来踩，我会第一时间

  3. 所属分类：其它

    • 发布日期：2021-02-02
    • 文件大小：303kb
    • 提供者：weixin_38623919

  1. 布隆过滤器+CBF scala实现+代码详解

  2. 文章目录简介BloomFilterBloomFilter的简单优化改进BloomFilterspark 的布隆过滤器scala实现BF、CBF 简介 布隆过滤器可以说是在大数据的处理算法方面经常使用的基础算法。 在这方面我看了很多的博客，确实看到了很多很详细的解释和总结，但是都是零散的，没有很全面的在原理和实现，以及实现代码的解析等方面做的很全面的。所以我将我自己整理的东西很完整的和大家分享。 其中在实际的使用和实现方面，我会增加spark的实现，以及scala的BF和CBF的两个简单的demo

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：111kb
    • 提供者：weixin_38612437