大数据下载列表第960页

[Hadoop] 一种基于MapReduce高效K-means并行算法

说明：针对K-means算法对初值选取的依赖,收敛速度慢,聚类精度低,以及对海量数据的处理存在内存瓶颈的问题,提出一种基于MapReduce的高效K-means并行算法.该算法在MapReduce框架基础上,结合K选择排序算法进行并行采样,提高采样效率;采用基于样本预处理策略获取初始中心点;使用权值替换策略对迭代中心进行更新;此外,通过调整Hadoop集群,对算法的运行效率作出进一步提升.实验结果表明,该算法不仅具有良好的收敛性、准确率、加速比,算法性能也得到进一步改善.
<qq_28339273> 上传 | 大小：967kb

[Hadoop] 一种基于Hadoop的集群资源访问异常检测方法

说明：针对分布式平台资源利用的特征,在集群局部资源利用密度异常情况检测技术的基础上,引入时间序列的检测方法,提出了一种对集群资源利用率呈现缓慢增长的异常情况进行检测的算法。最后通过某高校基于Hadoop服务器集群采集到的数据进行异常检测,验证了提出的基于最近邻结点资源异常检测方法的准确率和可行性。
<qq_28339273> 上传 | 大小：383kb

[Hadoop] 基于Hadoop大数据平台和无简并高维离散超混沌系统的加密

说明：针对目前大数据环境中存在的数据安全问题,提出一种基于Hadoop大数据平台和无简并高维离散超混沌系统的加密算法.算法采用流密码对称加密方式,在Hadoop平台上读取存储于HDFS(Hadoop distributed file system)的大数据,进行分片处理和MapReduce编程后,用Map函数实现数据并行加密和解密,通过Reduce函数实现数据的合并操作并存储于HDFS.该算法具有较好的执行效率.与正李氏指数发生简并的低维混沌系统相比,无简并高维离散超混沌加密算法能提高系统安全性能,
<qq_28339273> 上传 | 大小：1mb

[Hadoop] 基于Hadoop的并行共享决策树挖掘算法研究

说明：共享知识挖掘是指通过学习不同事物之间的共享知识,将学习到的知识应用到未知事物来加快认知未知事物。针对大数据集中串行共享知识挖掘算法效率低下的问题,结合云计算技术,提出了一种基于Hadoop的并行共享决策树挖掘算法(PSDT)。该算法采用传统的属性表结构实现并行挖掘,但其I/O操作过多,影响算法性能,为此,进一步提出了一种混合并行共享决策树挖掘算法(HPSDT)。该算法采用混合数据结构,在计算分裂指标阶段使用属性表结构,在分裂阶段采用数据记录结构。数据分析表明,HPSDT算法简化了分裂过程,其I
<qq_28339273> 上传 | 大小：600kb

[Hadoop] 一种改进的Hadoop数据负载均衡算法

说明：在介绍Hadoop,HDFS的原理的基础上,分析了Hadoop的数据负载均衡算法.Hadoop负载均衡算法只是根据空间使用率对各个结点的负载进行均衡,这种均衡方法没有考虑结点的处理能力、带宽、文件访问频度等因素,因此,造成了基本相同的文件的响应时间存在很大的差别.提出了一种改进的负载均衡的模型,该模型综合了文件大小、文件并发访问时间、文件访问频度、结点的处理能力、带宽、结点的可用存储空间等因素进行负载均衡.试验结果表明,改进模型不仅实现了存储空间的负载均衡,而且使得同类文件的响应时间更一致.
<qq_28339273> 上传 | 大小：823kb

[Hadoop] Hadoop环境下的分布式协同过滤算法设计与实现

说明：以开源项目Hadoop为实验平台,论证传统协同过滤算法无法适应云平台;从相似度和预测偏好两方面,借鉴共词分析法,将传统协同过滤算法改进为适应Hadoop平台的分布式协同过滤算法;实现顺序组合式MapRe-duce协同过滤任务,并做进一步实验分析。
<qq_28339273> 上传 | 大小：732kb

[Hadoop] 一种基于Hadoop的语义大数据分布式推理框架

说明：随着语义万维网(sematic Web)和关联数据集项目(linked data project)的不断发展,各领域的语义数据正在大规模扩增.同时,这些大规模语义数据之间存在着复杂的语义关联性,这些关联信息的挖掘对于研究者来说有着重要的意义.为解决传统推理引擎在进行大规模语义数据推理时存在的计算性能和可扩展性不足等问题,提出了一种基于Hadoop的语义大数据分布式推理框架,并且设计了相应的基于属性链(property chain)的原型推理系统来高效地发现海量语义数据中潜在的有价值的信息.实验
<qq_28339273> 上传 | 大小：1mb

[Hadoop] 基于Hadoop生态系统的大数据解决方案综述

说明：一个大数据解决方案需要面对三个关键问题:大数据的存储、大数据的分析和大数据的管理。首先综述了大数据和Hadoop生态系统的定义;然后从商业产品和Hadoop生态系统两个方面来探讨如何面对大数据,重点分析了Hadoop生态系统是如何解决的:分别用HDFS、HBase和OpenTSDB解决存储问题,用Hadoop MapReduce(Hive)和HadoopDB解决分析问题,用Sqoop和Ganglia等解决管理问题。对于每个成员,分别分析了其系统架构、实现原理和特点;对于重点成员,分别分析了其存
<qq_28339273> 上传 | 大小：619kb