注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 分布式计算开源框架Hadoop介绍

  2. Hadoop框架中最核心的设计就是：MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是“任务的分解与结果的汇总”。HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。

  3. 所属分类：专业指导

    • 发布日期：2008-12-15
    • 文件大小：142336
    • 提供者：hlking

  1. Hadoop部署脚本

  2. Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于在应用层检测和处理故障，从而在一组计算机之上提供高可用性服务，每个计算机都可能出现故障。 该项目包括这些模块： Hadoop Common：支持其他Hadoop模块的常用工具。 Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。 Had

  3. 所属分类：群集服务

    • 发布日期：2018-03-14
    • 文件大小：89088
    • 提供者：weixin_38367675

  1. SQL-DFS:一种基于HDFS 的海量小文件存储系统

  2. 针对Hadoop 分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时NameNode 内存占用率高的问题,通过分析HDFS 基础架构,提出了基于元数据存储集群的SQL-DFS 文件系统. 通过在NameNode 中加入小文件处理模块实现了小文件元数据由NameNode 内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode 的请求次数;通过将部分DataNo

  3. 所属分类：Hadoop

    • 发布日期：2018-04-23
    • 文件大小：2097152
    • 提供者：w397090770

  1. hadoop和Spark合集

  2. Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

  3. 所属分类：Hadoop

    • 发布日期：2018-06-28
    • 文件大小：29360128
    • 提供者：weixin_32897647

  1. 基于关联规则挖掘的分布式小文件存储方法

  2. Hadoop分布式文件系统(HDFS)设计之初是针对大文件的处理,但无法高效地针对小文件进行存储,因此提出了一种基于关联规则挖掘的高效的小文件存储方法——ARMFS。ARMFS通过对Hadoop系统的审计日志进行关联规则挖掘,获得小文件间的关联性,通过文件合并算法将小文件合并存储至HDFS;在请求HDFS文件时,根据关联规则挖掘得到的高频访问表和预取机制表提出预取算法来进一步提高文件访问效率。实验结果表明,ARMFS方法明显提高了NameNode的内存使用效率,对于小文件的下载速度和访问效率的

  3. 所属分类：Hadoop

    • 发布日期：2018-07-03
    • 文件大小：927744
    • 提供者：qq_28339273

  1. hadoop基础

  2. 关于hadoop的一些基础知识。在一个经典的数据架构中，Hadoop 是处理复杂数据流的核心。数据往往是从许多分散的系统中收集而来，并导入 Hadoop 分布式文件系统（HDFS）中，然后通过 MapReduce 或者其他基于 MapReduce 封装的语言（如Hive、Pig 和 Cascading 等）进行处理，最后将这些已经过滤、转换和聚合过的结果导出到一个或多个外部系统中。

  3. 所属分类：Hadoop

    • 发布日期：2018-08-28
    • 文件大小：12288
    • 提供者：qq_23530279

  1. 离线计算系统

  2. 离线计算系统 A. HADOOP分布式集群的平台搭建 B. HADOOP分布式文件系统HDFS的原理理解及使用 C. HADOOP分布式运算框架MAPREDUCE的原理理解及编程 D. Hive数据仓库工具的熟练应用 E. Flume、sqoop、oozie等辅助工具的熟练使用 F. Shell/python等脚本语言的开发能力

  3. 所属分类：Hadoop

    • 发布日期：2018-02-05
    • 文件大小：11534336
    • 提供者：lixinkuan328

  1. Hadoop分布式云盘系统

  2. 基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统。使用Hadoop HDFS作为文件存储系统、HBase作为数据存储仓库，采用SpringMVC+Spring框架实现，包括用户注册与登录、我的网盘、关注用户、我的分享、我收到的分享等五大功能模块。其中我的网盘包括查看文件列表，多文件上传，创建文件夹，文件重命名、复制与移动、下载、在线浏览、分享等诸多功能。所使用的技术包括：SpringMVC框架、Spring框架、Maven项目管理工具、Hadoop

  3. 所属分类：Hadoop

    • 发布日期：2018-10-26
    • 文件大小：52428800
    • 提供者：xmt1139057136

  1. 开源的分布式内存文件系统 Tachyon.zip

  2. Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将那些不需要落地到DFS里的文件，落地到分布式内存文件系统中，来达到共享内存，从而提高效率。同时可以减少内存冗余，GC时间等。        特性：类 Java 的文件 API兼容性：实现 Hadoop 文件系统接口可插入式的底层文件系统内建 Raw 原生表的支持基于 Web 的 UI 提供命令行接口

  3. 所属分类：其它

    • 发布日期：2019-07-19
    • 文件大小：10485760
    • 提供者：weixin_39840387

  1. 基于Hadoop的煤矿数据中心架构设计

  2. 根据煤矿安全生产业务需求及智慧矿山发展要求，新型的煤矿数据中心需满足对同一时空坐标体系下煤矿海量、多元数据的高效处理、缓存、计算、存储与发布。针对传统煤矿数据中心各类数据离散存储，数据集成、业务应用及数据分析难度大等问题，设计了一种基于Hadoop的煤矿数据中心架构。采用Storm实时数据流引擎进行数据实时计算，并应用MapReduce、Spark实现批处理计算和内存计算，解决高频时序数据存储与海量数据计算问题；采用Hadoop分布式文件系统（HDFS）实现文件的可靠存储，并采用HBase分布式

  3. 所属分类：其它

    • 发布日期：2020-04-18
    • 文件大小：760832
    • 提供者：weixin_38571603

  1. Hadoop与Spark 肖睿+PDF

  2. 大数据技术让我们以一种靠前的方式，对海量数据进行分析，从中获得有巨大价值的产品和服务，很终形成变革之力。本书围绕Hadoop和Spark两个主流大数据技术进行讲解，主要内容包括Hadoop环境配置、Hadoop分布式文件系统（HDFS）、Hadoop分布式计算框架MapReduce、Hadoop资源调度框架YARN与Hadoop新特性、Hadoop分布式数据库HBase、数据仓库Hive、大数据离线处理辅助系统、Spark Core、Spark SQL、Spark Streaming等知识。本书

  3. 所属分类：其它

    • 发布日期：2019-08-18
    • 文件大小：171966464
    • 提供者：ermaoermao

  1. hadoop入门wordcount

  2. 大数据入门程序，便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等

  3. 所属分类：Hadoop

    • 发布日期：2019-07-06
    • 文件大小：94208
    • 提供者：qq_34639823

  1. linux配置Hadoop

  2. 使用三台linux虚拟机配置hadoop分布式文件系统，centos系统及其他软件包可私我获取。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

  3. 所属分类：互联网

    • 发布日期：2020-09-21
    • 文件大小：2097152
    • 提供者：weixin_44136294

  1. 基于云计算的智能高清视频监控系统研究

  2. 网络视频监控系统对海量视频数据存储和智能视频分析服务的需求日益突出，针对系统硬件计算能力有限，不能满足用户需求的多样性，系统扩展性受到存储设备容量的限制等问题，通过虚拟化技术构建云计算基础资源池，以Hadoop分布式文件系统存储海量视频数据，使用MapReduce编程模型实现大规模并行计算，提高了系统的可扩展性和可靠性，为用户提供实时视频监控和智能视频分析服务。

  3. 所属分类：其它

    • 发布日期：2020-10-18
    • 文件大小：190464
    • 提供者：weixin_38590775

  1. 一种优化的Hadoop副本放置策略

  2. Hadoop分布式文件系统默认采用三副本策略实现较为简单，未对数据节点负载进行充分考虑。为了改善HDFS中集群负载的均衡性，提高数据节点的资源利用率，提出一种优化的副本放置策略。该策略综合考虑数据节点的实时负载信息和工作进程数，选择负载最小的节点存放数据。实验结果表明，与默认策略相比，优化的Hadoop副本放置策略能使副本分布更加合理，集群的均衡性更加良好，并能减少数据上传响应时间。

  3. 所属分类：其它

    • 发布日期：2020-10-17
    • 文件大小：456704
    • 提供者：weixin_38643127

  1. Hadoop详细的理论基础

  2. 目录 一、Hadoop分布式文件系统HDFS 1.认识HDFS 2.HDFS优势 3.HDFS局限性 4.HDFS特性 二、HDFS核心设计 1.数据块 2.数据块复制 3.数据块副本的存放策略 4.机架感知 5.数据块的备份数 6.安全模式 7.负载均衡 8.心跳机制 三、HDFS体系结构 1.主从架构 2.核心组件功能 3.数据块损坏处理 一、Hadoop分布式文件系统HDFS 1.认识HDFS 1）HDFS基于流式数据，为处理超大型文件（PB级别）的需求而设计。 2）流式数据： 将数据序列

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：282624
    • 提供者：weixin_38630571

  1. 【Hadoop离线基础总结】HDFS入门介绍

  2. HDFS入门介绍 概述 HDFS全称为Hadoop Distribute File System，也就是Hadoop分布式文件系统，是Hadoop的核心组件之一。 分布式文件系统是横跨在多台计算机上的存储系统，主要解决的就是大数据存储的问题 特性 master/slave架构 HDFS集群一般是由一个 NameNode 和一定数目的 DataNode 组成。NameNode 是 HDFS 集群主节点，DataNode 是 HDFS 集群从节点。 分块存储 分块存储存在的原因： 假如有10

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：126976
    • 提供者：weixin_38585666

  1. SQL_DFS_一种基于HDFS的海量小文件存储系统_马志强.pdf

  2. 针对Hadoop 分布式文件系统(Hadoop distributed file system,HDFS)进行小文件存储时NameNode 内存占用率高的问题,通过分析HDFS 基础架构,提出了基于元数据存储集群的SQL-DFS 文件系统. 通过在NameNode 中加入小文件处理模块实现了小文件元数据由NameNode 内存到元数据存储集群的迁移,借助关系数据库集群实现了小文件元数据的快速读写,并对小文件读取过程进行优化,减少了文件客户端对NameNode 的请求次数;通过将部分DataNod

  3. 所属分类：Hadoop

    • 发布日期：2021-03-16
    • 文件大小：1048576
    • 提供者：C_harry

  1. 基于Hadoop封闭直方图多维数据集

  2. 封闭数据立方是一种有效的无损压缩技术，它去掉了数据立方中的冗余信息，从而有效降低了数据立方的存储空间，加快了计算速度，而且几乎不影响查询性能。模型为数据立方的计算提供了技术支持，Hadoop分布式文件系统HDFS为数据立方的存储提供了保障。为了节省存储空间，加快查询速度，在传统数据立方的基础上提出封闭的直方图立方，它在封闭数据立方的基础上通过编码技术进一步节省了存储空间，通过建立索引快速了查询速度。Hadoop并行计算平台既从扩展性还是均衡性都为封闭直方图立方提供了保证。图立方对数据立方进行有效

  3. 所属分类：其它

    • 发布日期：2021-03-10
    • 文件大小：328704
    • 提供者：weixin_38517113

  1. Hadoop的数据管理

  2. 前面重点介绍了Hadoop及其体系结构和计算模型MapReduce，现在开始介绍Hadoop的数据管理，主要包括Hadoop的分布式文件系统HDFS、分布式数据库HBase和数据仓库工具Hive的数据管理。HDFS是分布式计算的存储基石，Hadoop分布式文件系统和其他分布式文件系统有很多类似的特质：1.对于整个集群有单一的命名空间；2.具有数据一致性。适合一次写入多次读取的模型，客户端在文件没有被成功创建之前是无法看到文件存在的；3.文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，

  3. 所属分类：其它

    • 发布日期：2021-03-02
    • 文件大小：157696
    • 提供者：weixin_38690407
« 1 2 3 4 5 6 7 89 10 11 12 13 ... 33 »