注册会员 | 设为首页 | 加入收藏夹
您好，欢迎光临本网站！[请登录] ！[注册会员]！  

搜索资源列表

  1. 大数据和区块链之间的比较分析

  2. 大数据和区块链两者之间有个共同的关键词：分布式，代表了一种从技术权威垄断到去中心化的转变。 大数据，需要应对海量化和快增长的存储，这要求底层硬件架构和文件系统在性价比上要大大高于传统技术，能够弹性扩张存储容量。谷歌的GFS和Hadoop的HDFS奠定了大数据存储技术的基础。另外，大数据对存储技术提出的另一个挑战是多种数据格式的适应能力，因此现在大数据底层的存储层不只是HDFS，还有HBase和Kudu等存储架构。 区块链，是比特币的底层技术架构，它在本质上是一种去中心化的分布式账本。区块

  3. 所属分类：其它

    • 发布日期：2021-01-29
    • 文件大小：237568
    • 提供者：weixin_38663544

  1. 基于云计算的数据管理技术研究

  2. 从云计算和互联网发展关系的角度出发，借鉴传统数据管理技术的理念和优势，以实现研究、设计和开发新的基于云计算的数据管理技术的目的。通过对云计算的服务器虚拟技术、数据分布存储技术、海量数据管理技术和分布式并行编程模型4个关键技术的剖析，结合云计算对数据管理的特殊需求，详细阐述了GFS、MapReduce和BigTable 3种数据管理技术的功能、特点和管理数据的过程。证明云计算数据管理技术基础理论建设与完善是传统数据管理技术向云计算管理方式的改造与迁移。

  3. 所属分类：其它

    • 发布日期：2021-01-29
    • 文件大小：886784
    • 提供者：weixin_38544075

  1. 浅谈分布式服务协调技术Zookeeper

  2. Google的三篇论文影响了很多很多人，也影响了很多很多系统。这三篇论文一直是分布式领域传阅的经典。根据MapReduce，于是我们有了Hadoop；根据GFS，于是我们有了HDFS；根据BigTable，于是我们有了HBase。而在这三篇论文里都提及Google的一个Lock Service——Chubby，哦，于是我们有了Zookeeper。随着大数据的火热，Hxx们已经变得耳熟能详，现在作为一个开发人员如果都不知道这几个名词出门都好像不好意思跟人打招呼。但实际上对我们这些非大数据开发人员而

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：231424
    • 提供者：weixin_38601311

  1. 详解HBase架构原理

  2. HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的PCServer上搭建大规模结构化存储集群。 HBase是GoogleBigTable的开源实现，与GoogleBigTable利用GFS作为其文件存储系统类似，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理BigTable中的海量数据，HBase同样利用Hadoop

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：385024
    • 提供者：weixin_38502693

  1. 民生银行大数据体系架构设计与演进

  2. 近年来，随着大数据与人工智能相关技术的迅速发展，新技术逐步在全社会各行各业得到应用。银行业作为一个高度信息化的行业，首当其冲面临着互联网新技术应用的挑战。民生银行在2013年开始布局分布式、大数据及人工智能技术等领域，在全行凤凰计划的牵头下，逐步的将新技术与我行发展战略业务实施策略进行了深度融合，为金融科技银行的发展奠定了扎实的基础。 大数据起源于互联网，在2003年左右由Google发布GFS和MapReduce论文为节点拉开了新技术应用的序幕，介绍了一种利用普通PC服务器构建大规模分布式系统

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：1048576
    • 提供者：weixin_38685521

  1. Hadoop学习笔记—1.基本介绍与环境配置

  2. 说到Hadoop的起源，不得不说到一个传奇的IT公司—全球IT技术的引领者Google。Google（自称）为云计算概念的提出者，在自身多年的搜索引擎业务中构建了突破性的GFS（Google FileSystem），从此文件系统进入分布式时代。除此之外，Google在GFS上如何快速分析和处理数据方面开创了MapReduce并行计算框架，让以往的高端服务器计算变为廉价的x86集群计算，也让许多互联网公司能够从IOE（IBM小型机、Oracle数据库以及EMC存储）中解脱出来，例如：淘宝早就开始了

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：1048576
    • 提供者：weixin_38676500

  1. 这些主流分布式存储系统，你都知道吗？

  2. Hadoop分布式文件系统(HDFS)是一个分布式文件系统，适用于商用硬件上高数据吞吐量对大数据集的访问的需求。该系统仿效了谷歌文件系统(GFS)，数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。该系统的主要设计目标包括：容错，可扩展性，高效性和可靠性。HDFS采用了MapReduce，不迁移数据而是以将处理任务迁移到物理节点(保存数据)的方式降低网络I/O。HDFS是Apache Hadoop的一个子项目并且安装Hadoop。OpenStackSwift提供一个类似Amazon

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：322560
    • 提供者：weixin_38742291

  1. ApacheSpark的Lambda架构示例应用

  2. ApacheHadoop由ApacheSoftwareFoundation公司于2005年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由GoogleLab开发的Map/Reduce和GoogleFileSystem(GFS)的启发。它成为一个独立项目的时间已有10年。目前已经有很多客户实施了基于Hadoop的M/R管道，并成功运行到现在：Oozie的工作流每日运行处理150TB以上的数据并生成分析报告　Bash的工作流每日运行处理8TB以上的数据并生成分析报告 2016年商

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：590848
    • 提供者：weixin_38704830

  1. HBase技术原理

  2. BigTable是一个分布式存储系统，BigTable起初用于解决典型的互联网搜索问题。BigTable是一个分布式存储系统。 利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据。 使用谷歌分布式文件系统GFS作为底层数据存储。 采用Chubby提供协同服务管理。 可以扩展到PB级别的数据和上

  3. 所属分类：其它

    • 发布日期：2021-01-27
    • 文件大小：1048576
    • 提供者：weixin_38689027

  1. PHP 进程锁定问题分析研究

  2. 1. 区分读锁定 和 写 锁定。 如果每次都使用 写锁定，那么连多个进程读取一个文件也要排队，这样的效率肯定不行。 2. 区分 阻塞 与 非 阻塞模式。 一般来说，如果一个进程在写一个文件的时候，另外一个进程应该被阻塞，但是，很多时候，我们可以先干点别的事情， 然后再判断一下是否有其他人在写文件，如果没有，再加入数据，这样的效率更高。 3. 修复了 锁定文件在linux 上的bug，特别是 在 gfs 文件系统上的bug。 代码如下： 复制代码 代码如下: <?php class File

  3. 所属分类：其它

    • 发布日期：2021-01-21
    • 文件大小：53248
    • 提供者：weixin_38714509

  1. 云计算（1.3）Google云计算三大核心技术 – 分布式结构化数据表BigTable

  2. 前言 前面学习了GFS（分布式存储系统），MapReduce（分布式数据处理） 接下来学习最后一个技术：分布式结构化数据表BigTable 谷歌技术”三宝”之BigTable Google Bigtable 中文版 引进BigTable GFS（2003年发表）使用商用硬件集群存储海量数据。文件系统将数据在节点之间冗余复制。MapReduce（2004）是GFS架构的一个补充，因为它能够充分利用GFS集群中所有低价服务器提供的大量CPU 但是两个系统都有一定的缺陷： 两个系统都缺乏实时随机存取数

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：430080
    • 提供者：weixin_38693720

  1. Hadoop各组件详解（Hbase篇 持续更新版）

  2. 一.HBASE简介 1.1 什么是HBase 1）HBASE译为“Hadoop Database”，是一个高可靠性、高性能、列存储、可伸缩、实时读写的NoSQL数据库系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群 2）主要用来存储结构化和半结构化的松散数据 3）HBASE是Google Bigtable的开源实现，但是也有很多不同之处。比如：Google Bigtable使用GFS作为其文件存储系统，HBASE利用Hadoop HDFS作为其文件存储系统；Goo

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：925696
    • 提供者：weixin_38689477

  1. 用python + hadoop streaming 分布式编程（一） — 原理介绍，样例程序与本地调试

  2. MapReduce与HDFS简介 什么是Hadoop？ Google为自己的业务需要提出了编程模型MapReduce和分布式文件系统Google File System，并发布了相关论文（可在Google Research的网站上获得： GFS 、 MapReduce）。 Doug Cutting和Mike Cafarella在开发搜索引擎Nutch时对这两篇论文做了自己的实现，即同名的MapReduce和HDFS，合起来就是Hadoop。 MapReduce的Data flow如下图，原始数据

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：245760
    • 提供者：weixin_38587924

  1. 基于Kademlia的云存储系统数据冗余方案研究

  2. 云存储是分布式存储技术与虚拟化技术结合的产物，是分布式存储技术的最新发展。云存储意味着存储可以作为一种服务，通过互联网提供给用户。相对于当前各种C/S计算模式的GFS、HDFS、Sector 等云存储文件系统，提出了一种基于对等计算模式的云存储文件系统通用模型，并采用Kademlia算法构建了原型系统MingCloud。主要进行了存储系统冗余方案的选择与设计，实验中采用Cauchy Codes作为编码算法，分别从K 桶大小对系统可用性影响、文件分块数量对系统可用性的影响、相同的冗余度下系统可用性

  3. 所属分类：其它

    • 发布日期：2021-01-20
    • 文件大小：345088
    • 提供者：weixin_38545463

  1. 云计算技术发展分析及其应用探讨

  2. 云计算由Google提出，随后在互联网界风起“云”涌，随之而来的云计算服务和技术平台成功层出不穷，如Google的GFS、MapReduce、Bigtable、Chubby和App Engine，亚马逊的Dynamo、EC2、S3、SQS、SimpleDB和CloudFront，微软的Azure、SQL、“。Net”和Live服务，开源云计算平台的HDFS、HBase和Eucalyptus，VMware的虚拟化平台等。 　　1 云计算的技术 　　云计算主要基于资源虚拟和分布式并行架构两大技术，同

  3. 所属分类：其它

    • 发布日期：2021-01-19
    • 文件大小：109568
    • 提供者：weixin_38677585

  1. 在Mac上利用VirtualBox搭建本地虚拟机环境的方法

  2. 1. 大数据和Hadoop 研究学习大数据，自然要从Hadoop开始。 Hadoop不是一个简单的软件，而是有一些列软件形成的生态，其核心思想来自Google当初发布的三篇论文，后来做了开源的实现， 谷歌的实现和Hadoop的实现大致可以做这样的对应： Google Map/Reduce Hadoop MapReduce Google GFS Hadoop HDFS Google BigTable Hadoop HBase Hadoop生态的所有组成部分，都是跑在linux环境下的，自然我

  3. 所属分类：其它

    • 发布日期：2021-01-11
    • 文件大小：968704
    • 提供者：weixin_38738272

  1. GeoServer集群部署及性能测试（在虚拟机上实现）

  2. 概述 应用vmware在本地构建linux虚拟机集群，包括一个nginx节点，三个GeoServer节点，三个GlusterFS文件系统节点。 软件准备 1.geoserver软件(使用tomcat作为web容器) 2.nginx 3.glusterFS 虚拟系统准备 在vmware中克隆三台CentOS 7 虚拟机，分别安装nginx，geoserver，gfs。 其他几个节点直接再克隆已有的节点，修改相关配置文件。 具体步骤 1.由centos 7 64位虚拟机模板克隆nginx虚拟机节点

  3. 所属分类：其它

    • 发布日期：2021-01-09
    • 文件大小：2097152
    • 提供者：weixin_38578242

  1. wps-da.ifs:允许使用IFS数据集作为输入运行WPS工作流的docker容器-源码

  2. wps-da.ifs 允许使用IFS数据集作为输入运行WPS工作流的docker容器。 wps-da.ifs：基于ifs模型的输入运行WPS的容器 建造 要构建映像，请在本地克隆存储库后： 生成ifs和gfs WPS映像 cd wps-da.gfs docker build . docker tag cimafoundation/wps-da.gfs cd ../wps-da.ifs docker build . docker tag cimafoundation/wps-da.ifs

  3. 所属分类：其它

    • 发布日期：2021-03-31
    • 文件大小：8192
    • 提供者：weixin_42160425

  1. WeatherApp:收集天气模型数据并进行预报-源码

  2. WeatherApp 刮除天气模型数据并进行预报。该项目的目标是从各种天气模型（下面的完整列表）中抓取天气模型数据，并做出准确的预测。 我希望最终包括的天气模型列表： NOAA NBM，目前正在努力实施NBE 诺阿·莫斯 人力资源报酬率 GFS NAM CONUS

  3. 所属分类：其它

    • 发布日期：2021-03-21
    • 文件大小：4096
    • 提供者：weixin_42152298
« 1 2 ... 18 19 20 21 22 23»