2.企业级大数据分析平台.pdf让大家将所学到的大数据理论付诸于实践中。。。。。。。Lanate 企

文件名称: 2.企业级大数据分析平台.pdf

所属分类: spark

开发工具:

文件大小: 1mb

下载次数: 0

上传时间: 2019-10-08

提供者: hyper*****

下载 (1mb)

不能下载？报告错误

详细说明：让大家将所学到的大数据理论付诸于实践中。。。。。。。Lanate 企业级 hadoop高可用HDFS集群 zooKeeper Insemble-Instances Typically Reside on Master Nodes Zookeeper zooKeeper zookeeper Journalnode Zookeeper Failove Failover Controller Controller Must Res de o Journalnode Must Reside on t he Same Host Namenode NameNode Active)/Quorum Journalnode (Standby)/Quorum Journal Manager Journal Manager DataNode DataNode DataNad DataNode Lanate 企业级大数据分析平台Hve ZooKeeper Ensemble looKee Zookeeper Zookeeper Hadoop Cluster Submit Map Beeline cll Hive Server 2 Reduce job ppers Se enver JDBC/ODBC plication Shared Metastore Lanate 企业级大数据数据仓库 Hbase Zookeeper MAster HRegionServer REgion serv HRegionServer REgion HEyin I REgion I Region I Region REgion HEyin REgium HDES Lanate 企业级数据流实时导入工具Fume A MI AvrO Sink Channel Agent Consolidation AvTo Avro AVID A Source Sink Sink Channel Channe Agent2 Agent Avro Avro Web Source er HDFS Channel Agents Lanate 企业级关系数据库迁移工具 scoop qoop根据数据库表结构自动创建dlas文件,提交到 mapreduce框架上运行 Hadoop Cluster Submit mapReduce jobs Map-Only Tasks RDBMS Data Warehouse Document-Based System Lanate 大数据生态链的常用工具 pig-精短强悍的数据整理清洗工具 spark-基于内存的流式数据分析工具,内置机器学习库 ooZe--任务自动化调度工具 · kafka-垮平台的数据传输工具,支持各种传输协议和加密压缩等功能 impala-类似hiⅳve的数据分析工具,支持SQL查询语言,速度更快 tez-优化 mapreduce计算路径的计算框架 udu 种更快速的数据分析平台 solr-企业级搜索引擎 Lanate 企业级 hadoop集群搭建准备准备至少3台联网的主机,单个主机至少4G内存,10G磁盘剩余空间。分别安装 Hanwate_ Biodata_OS_7 Firefly操作系统,该系统整合了大数据生态链的常用工具 ·按照后面的向导,分别在每台主机上安装相应的软件组件,并配置其角色,启动相应的服务。 Lanate 分布式 hadoop集群的主机角色主机名 P地址角色组件 Namenode master 1 192.168.×.3 master Datanode Node Manager Secondary Namenode Resource manager master2 192.168X.4 master Datanode Node Manager JobHistory Server slave 1 192.168.×.5 slave Datanode NodeManager

(系统自动生成,下载前可以参看下载内容)