[Hadoop] Hadoop集群搭建

说明： hadoop是anpche软件基金会旗下的一个开源分布式计算平台。对大数据 HDFS感兴趣的筒子搭建实验环境有帮助。
<tony0236> 上传 | 大小：535kb

[Hadoop] AI学习-大数据实战-UDW里的数据宝藏

说明： 提供完整数据治理基础架构促进数据建设现代化 •日志标准化规范和机制 •可靠传输和存储规划和机制资源解耦所用即所需 •元数据服务规范
<li375268037> 上传 | 大小：3mb

[Hadoop] 云计算、大数据、人工智能的区别

说明： 云计算、大数据、人工智能，很多IT工作人员也是傻傻分不清楚啊
<beicuige> 上传 | 大小：1mb

[Hadoop] Hadoop大数据分布式架构与设计详细介绍文档

说明： Hadoop大数据分布式架构与设计详细介绍文档，详细介绍了hadoop的应用原理，由haddop团队开发者Dhruba Borthakur亲自编写，国内一线人员翻译校对，是一个不可多得的hadoop大数据学习文档。
<escape_2007> 上传 | 大小：281kb

[Hadoop] CDH 5.15.0最新版centos6离线安装

说明： CDH 5.15.0最新版centos6离线安装，亲测可以使用的，其中很多坑已经躺过，按照文档走就是了
<xw420939220> 上传 | 大小：2mb

[Hadoop] 基于关联规则挖掘的分布式小文件存储方法

说明： Hadoop分布式文件系统(HDFS)设计之初是针对大文件的处理,但无法高效地针对小文件进行存储,因此提出了一种基于关联规则挖掘的高效的小文件存储方法——ARMFS。ARMFS通过对Hadoop系统的审计日志进行关联规则挖掘,获得小文件间的关联性,通过文件合并算法将小文件合并存储至HDFS;在请求HDFS文件时,根据关联规则挖掘得到的高频访问表和预取机制表提出预取算法来进一步提高文件访问效率。实验结果表明,ARMFS方法明显提高了NameNode的内存使用效率,对于小文件的下载速度和访问效率的
<qq_28339273> 上传 | 大小：906kb

[Hadoop] 基于R和Hadoop的大规模数据主成分分析

说明： R软件具有强大的统计分析功能,Hadoop平台能够存储和处理TB级别以上的大规模数据,将R与Hadoop相结合,在目前阶段是一种比较好的处理分析大规模数据的方案。本文利用RHadoop项目中的rhdfs和rmr2两个包,以及Map Reduce编程模型,设计出能够针对大规模数据进行主成分分析的函数,并对纽约股票市场部分股票价格数据进行主成分分析,以验证其可行性。
<qq_28339273> 上传 | 大小：1mb

[Hadoop] 一种基于MapReduce高效K-means并行算法

说明： 针对K-means算法对初值选取的依赖,收敛速度慢,聚类精度低,以及对海量数据的处理存在内存瓶颈的问题,提出一种基于MapReduce的高效K-means并行算法.该算法在MapReduce框架基础上,结合K选择排序算法进行并行采样,提高采样效率;采用基于样本预处理策略获取初始中心点;使用权值替换策略对迭代中心进行更新;此外,通过调整Hadoop集群,对算法的运行效率作出进一步提升.实验结果表明,该算法不仅具有良好的收敛性、准确率、加速比,算法性能也得到进一步改善.
<qq_28339273> 上传 | 大小：967kb

[Hadoop] 一种基于Hadoop的集群资源访问异常检测方法

说明： 针对分布式平台资源利用的特征,在集群局部资源利用密度异常情况检测技术的基础上,引入时间序列的检测方法,提出了一种对集群资源利用率呈现缓慢增长的异常情况进行检测的算法。最后通过某高校基于Hadoop服务器集群采集到的数据进行异常检测,验证了提出的基于最近邻结点资源异常检测方法的准确率和可行性。
<qq_28339273> 上传 | 大小：383kb

[Hadoop] 基于Hadoop大数据平台和无简并高维离散超混沌系统的加密

说明： 针对目前大数据环境中存在的数据安全问题,提出一种基于Hadoop大数据平台和无简并高维离散超混沌系统的加密算法.算法采用流密码对称加密方式,在Hadoop平台上读取存储于HDFS(Hadoop distributed file system)的大数据,进行分片处理和MapReduce编程后,用Map函数实现数据并行加密和解密,通过Reduce函数实现数据的合并操作并存储于HDFS.该算法具有较好的执行效率.与正李氏指数发生简并的低维混沌系统相比,无简并高维离散超混沌加密算法能提高系统安全性能,
<qq_28339273> 上传 | 大小：1mb

[Hadoop] 基于Hadoop的并行共享决策树挖掘算法研究

说明： 共享知识挖掘是指通过学习不同事物之间的共享知识,将学习到的知识应用到未知事物来加快认知未知事物。针对大数据集中串行共享知识挖掘算法效率低下的问题,结合云计算技术,提出了一种基于Hadoop的并行共享决策树挖掘算法(PSDT)。该算法采用传统的属性表结构实现并行挖掘,但其I/O操作过多,影响算法性能,为此,进一步提出了一种混合并行共享决策树挖掘算法(HPSDT)。该算法采用混合数据结构,在计算分裂指标阶段使用属性表结构,在分裂阶段采用数据记录结构。数据分析表明,HPSDT算法简化了分裂过程,其I
<qq_28339273> 上传 | 大小：600kb

[Hadoop] 一种改进的Hadoop数据负载均衡算法

说明： 在介绍Hadoop,HDFS的原理的基础上,分析了Hadoop的数据负载均衡算法.Hadoop负载均衡算法只是根据空间使用率对各个结点的负载进行均衡,这种均衡方法没有考虑结点的处理能力、带宽、文件访问频度等因素,因此,造成了基本相同的文件的响应时间存在很大的差别.提出了一种改进的负载均衡的模型,该模型综合了文件大小、文件并发访问时间、文件访问频度、结点的处理能力、带宽、结点的可用存储空间等因素进行负载均衡.试验结果表明,改进模型不仅实现了存储空间的负载均衡,而且使得同类文件的响应时间更一致.
<qq_28339273> 上传 | 大小：823kb