注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. HBase单点问题分析及分布式元数据管理方案

  2. HBase单点问题分析及分布式元数据管理方案，分析了Hadoop中HDFS的Namenode单点问题，并对此初步提出了相应解决方案

  3. 所属分类：其它

    • 发布日期：2012-03-16
    • 文件大小：811kb
    • 提供者：hanchengxi

  1. Fourinone分布式并行计算四合一框架

  2. 　　Fourinone(中文名字“四不像”)是一个四合一分布式计算框架，在写这个框架之前，我对分布式计算进行了长时间的思考，也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时，似乎忘记了我们想解决问题的初衷：我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算，把更多的cpu和内存利用上，来解决我们数量大和计算复杂的问题，当然这个过程中要考虑到分布式的协同和故障处理。如果仅仅是为了实现这个简单的初衷，为什么一切会那么复杂，我觉的自己可以写一个更简单的东西，它不需要过度设

  3. 所属分类：Web开发

    • 发布日期：2012-06-12
    • 文件大小：389kb
    • 提供者：wwwgg265net2

  1. hadoop2.0 2个namenode 2个datanode 部署

  2. 1. Hadoop 2.0 2. 部署在2个Ubuntu上 3. 2个namenode 2个datanode

  3. 所属分类：群集服务

    • 发布日期：2013-01-16
    • 文件大小：18kb
    • 提供者：af000000

  1. 王家林的“云计算分布式大数据Hadoop第九讲Hadoop图文训练课程：剖析NameNode和Secondary NameNode的工作机制和流程.

  2. 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程：剖析NameNode和Secondary NameNode的工作机制和流程. 此教程来自于王家林免费发布的3本Hadoop教程：云计算分布式大数据Hadoop实战高手之路（共3本书）： 王家林编写的“云计算分布式大数据Hadoop实战高手之路---从零开始”带领您无痛入门Hadoop并能够处理Hadoop工程师的日常编程工作，进入云计算大数据的美好世界。 王家林编写的“云计算分布式大数据Had

  3. 所属分类：3G/移动开发

    • 发布日期：2013-06-19
    • 文件大小：43kb
    • 提供者：javaniceyou

  1. 分布式存储系统——HDFS

  2. 1. 分布式文件系统与HDFS 2. HDFS 的shell 操作 3. HDFS 体系结构与基本概念 4 HDFS 的web 接口 5. HDFS 的java 访问接口 6. HDFS 的RPC 机制 7. NameNode 的接口分析 8. DataNode 的接口分析 9. HDFS 的写数据过程分析 10. HDFS 的读数据过程分析

  3. 所属分类：群集服务

    • 发布日期：2014-01-14
    • 文件大小：12mb
    • 提供者：jelly_b819

  1. 高可用性的HDFS：Hadoop分布式文件系统深度实践

  2. 第1章 HDFS HA及解决方案 1.1 HDFS系统架构 1.2 HA定义 1.3 HDFS HA原因分析及应对措施 1.3.1 可靠性 1.3.2 可维护性 1.4 现有HDFS HA解决方案 1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 1.4.3 Hadoop的Checkpoint ode方案 1.4.4 Hadoop的BackupNode方案 1.4.5 DRDB方案 1.4.6 FaceBook的AvatarNode方案

  3. 所属分类：群集服务

    • 发布日期：2014-05-15
    • 文件大小：6mb
    • 提供者：ysjian_pingcx

  1. Host-noly 模式下hadoop1.1.2伪分布式安装

  2. 本文档主要内容： PieTTY 0.3.26.exe 连接Linux工具 WinSCP Windows系统向Linux 系统传送文件的工具 1 vmware下的linux的host only上网配置 2 设置ip地址 3 关闭防火墙 4 关闭防火墙的自动运行 5 设置主机名 6 ip与hostname绑定 7 设置ssh免密码登陆 8 安装jdk1.7 9 安装hadoop1.1.2 10 启动时没有NameNode的可能原因: 11 运行简单的 MapReduce 计算 每一步骤配有解释，代

  3. 所属分类：Java

    • 发布日期：2015-04-12
    • 文件大小：1mb
    • 提供者：aspkhdp

  1. 02_Hadoop 分布式文件系统(HDFS).docx

  2. ■ HDFS 提供什么功能 ■ HDFS 如何读取和写入文件 ■ NameNode 如何使用内存 ■ Hadoop 如何提供文件安全性 ■ 如何使用NameNode Web UI ■ 如何使用Hadoop 文件Shell

  3. 所属分类：Linux

  1. Centos 7 zookeeper 3.1.4 + hadoop 3.1.2+Hbase 2.1.3完全分布式+高可用（HA）

  2. 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/wx2007xing/article/details/88710235 一、 环境说明 主机名 Zookeeper (QuorumPeerMain)   NameNode

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：26kb
    • 提供者：weixin_38645208

  1. 四 Hadoop运行模式之完全分布式运行模式

  2. 文章目录1. 虚拟机准备2. SSH无密登录配置2.1 配置ssh2.2 无密钥配置2.3. .ssh文件夹下（~/.ssh）的文件功能解释3. 编写集群分发脚本xsync(名字顺便)3.1. scp（secure copy）安全拷贝3.2. rsync 远程同步工具3.3. xsync 集群分发脚本4. 集群配置4.1 集群部署规划4.2 核心配置文件( core-site.xml )4.2.1 配置NameNode的地址4.3 env文件(hadoop-env.sh,yarn-env.sh

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：165kb
    • 提供者：weixin_38673921

  1. Hadoop 谷歌云上实现分布式部署（ubantu 18.04）

  2. 首先需要对云端服务器的ssh进行设置以实现免密码互联： 谷歌云服务器设置多服务器间ssh免登录连接（ubantu 18.04） 然后需要设置host（这里有个大坑，就是所有的主机都应该通过内网ip互联，否则就会出现namenode或者datanode无法启动的现象） sudo vim /etc/hosts 将文件内容改为这样（如果slave多就直接写在下一行就行）： 192.168.128.128 Master 192.168.128.129 Slave1 你的内网ip+主机名 首先

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：62kb
    • 提供者：weixin_38727062

  1. Hadoop HDFS分布式文件系统简介

  2. 在大数据时代，需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力，因此需要将数据集进行分区并存储到若干*立的计算机中。但是，分区存储的数据不方便管理和维护，迫切需要一种文件系统来管理多台机器上的文件，这就是分布式文件系统。 分布式文件系统是一种允许文件通过网络在多台主机上进行分享的文件系统，可让多台机器上的多用户分享文件和存储空间。 HDFS 是 Hadoop 的一个分布式文件系统，是 Hadoop 应用程序使用的主要分布式存储。HDFS 被设计成适合运行在通用硬件上的分布式文件系统

  3. 所属分类：其它

    • 发布日期：2021-01-07
    • 文件大小：41kb
    • 提供者：weixin_38597990

  1. hadoop-hdfs:Hadoop分布式文件系统hdfs代码分析-源码

  2. hadoop-hdfs Hadoop分布式文件系统hdfs代码分析 目录介绍 Datanode-数据块基本结构 主要介绍了HDFS中第二关系块结构，数据块到数据中断的映射关系。 退役-中断退款 主要介绍了数据异步下线取消机制。 INode-文件目录结构 主要介绍了文件系统中文件目录子系统结构，相关类。 租约 主要介绍了分布式文件系统中与文件租约相关的内容。 名称MetaData-元数据机制 主要介绍了namenode上元数据相关操作机制，包括editlog和fsimage2个文件在此期间的状态

  3. 所属分类：其它

    • 发布日期：2021-03-11
    • 文件大小：427kb
    • 提供者：weixin_42118056

  1. 分布式数据库的存储设计改进

  2. 在一次游泳的时候，想起一个问题，为什么hdfs的namenode没有存储块的对应节点信息，导致启动hdfs的时候，datanode需要扫描所有的数据块，再将该datanode上的块信息发送给namenode，namenode才能构建完整的元数据信息。根据文件和数据块的多少，启动hdfs的时候需要几分钟到几个小时。对比下分布式数据库，如果把记录对应的节点信息发送给Master，那就不可想象了。所以在分布式数据库中hdfs的存储策略不可取。同时最近一直被目前的分布式数据库的存储上有几个问题困扰着:在

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：772kb
    • 提供者：weixin_38606202

  1. 分布式计算框架Hadoop原理及架构全解

  2. 本文来自于csdn，这篇文章讲解了分布式计算框架的核心内容、架构图详解，运用流程等Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。HDFSHDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。HDFS架构原理HDFS采用maste

  3. 所属分类：其它

    • 发布日期：2021-02-25
    • 文件大小：250kb
    • 提供者：weixin_38509504

  1. 你想了解的分布式文件系统HDFS，看这一篇就够了

  2. 分布式文件系统把文件分布存储到多个节点（计算机）上，成千上万的计算机节点构成计算机集群。分布式文件系统使用的计算机集群，其配置都是由普通硬件构成的，与用多个处理器和专用高级硬件的并行化处理装置相比，前者大大降低了硬件上的开销。分布式文件系统在物理结构上是由众多阶段及节点构成的，而这些节点中分为两类。一类是主节点（MasterNode），又被称为名称节点（NameNode），另一类是从节点（SlaveNode），又被称为数据节点（DataNode）。官方用户Hadoop是由HDFS和MapRedu

  3. 所属分类：其它

  1. 分布式数据库的存储设计改进

  2. 在一次游泳的时候，想起一个问题，为什么hdfs的namenode没有存储块的对应节点信息，导致启动hdfs的时候，datanode需要扫描所有的数据块，再将该datanode上的块信息发送给namenode，namenode才能构建完整的元数据信息。根据文件和数据块的多少，启动hdfs的时候需要几分钟到几个小时。对比下分布式数据库，如果把记录对应的节点信息发送给Master，那就不可想象了。所以在分布式数据库中hdfs的存储策略不可取。同时最近一直被目前的分布式数据库的存储上有几个问题困扰着:在

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：772kb
    • 提供者：weixin_38725015

  1. 你想了解的分布式文件系统HDFS，看这一篇就够了

  2. 分布式文件系统把文件分布存储到多个节点（计算机）上，成千上万的计算机节点构成计算机集群。分布式文件系统使用的计算机集群，其配置都是由普通硬件构成的，与用多个处理器和专用高级硬件的并行化处理装置相比，前者大大降低了硬件上的开销。 分布式文件系统在物理结构上是由众多阶段及节点构成的，而这些节点中分为两类。一类是主节点（Master Node），又被称为名称节点（NameNode），另一类是从节点（SlaveNode），又

  3. 所属分类：其它

  1. hadoop3自学入门笔记(2)—— HDFS分布式搭建

  2. 目录一些介绍Hadoop 2和Hadoop 3的端口区别Hadoop 3 HDFS集群架构我的集群规划1.安装JDK2.配置Hadoop2.1部署及配置2.2 将配置复制到其他服务器2.3配置下hadoop的环境变量，方便输入命令2.4格式化3.启动4.打开浏览器查看HDFS监听页面参考书籍 一些介绍 Hadoop 2和Hadoop 3的端口区别 Hadoop 3 HDFS集群架构 我的集群规划 name ip role 61 192.168.3.61 namenode, da

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：628kb
    • 提供者：weixin_38530202

  1. 11HDFS的读写流程&NameNode、DataNode工作机制——好程序

  2. 一、 HDFS前言 设计思想        分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； 在大数据系统中作用： 为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务       重点概念：文件切块，副本存放，元数据 二、 HDFS的概念和特性 首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件 其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；

  3. 所属分类：其它

« 12 3 4 »