大数据下载,Hadoop下载列表第313页

[Hadoop] 基于Hadoop的分布式聚类算法研究

说明：基于工业领域广泛用到的Hadoop分布式计算平台,使用Canopy+K-means算法对手写数字进行聚类研究.针对传统Canopy算法初始阈值的确定问题,引入"最大最小化原则"确定初始阈值,计算得到K-means算法所需的初始聚类中心点.实验结果表明,Canopy算法能够较大程度地提高K-means算法的正确率.
<qq_28339273> 在上传 | 大小：459776

说明：针对Hadoop集群中应用执行的低效率、高成本问题,首先,通过对Hadoop分布式存储技术和并行编程模型的分析,发现数据集采用单文件还是多文件方式,以及数据块划分的大小是影响其性能的主要因素.其次,设计实验探讨了不同规模集群环境下,两类数据集以及不同大小的数据块对应用性能的影响程度.最后,综合实验结果发现,在数据量一定的情况下,随着数据块的增大,map任务数的变化导致大文件数据集的执行效率越来越高于小文件数据集的执行效率;另外,两类数据集在小规模集群(1个Slave)上的执行效率大约均是大规模
<qq_28339273> 在上传 | 大小：932864

[Hadoop] Hadoop云平台下基于HOG特征和Adaboost分类器的快速行人检测算法

说明：行人检测在安保领域、无人驾驶领域、机器视觉领域以及多媒体分析领域等具有广泛的应用;针对目前行人检测技术运算量大、实时性差等不足,提出了一种Hadoop云平台下基于梯度直方图(HOG)特征和Adaboost算法的快速行人检测方法;该方法首先利用云计算模式提取图片的HOG特征,然后利用PCA方法对提取特征降维,最后使用Adaboost算法构建分类器对降维特征进行分类;利用不同场景照片对本文方法进行实验,仿真结果表明,在保持较高检测准确度前提下,采用Hadoop云计算的检测速度比传统的基于HOG特征
<qq_28339273> 在上传 | 大小：1048576

[Hadoop] 基于Hadoop的Lorenz超混沌加密算法设计

说明：针对大数据环境中存在的数据安全及隐私保护问题,提出一种基于Hadoop大数据平台的超混沌数据加密算法。利用超混沌Lorenz系统更加复杂的动力学行为以及所产生的序列具有更好的随机性等特点,结合Hadoop平台的MapReduce并行编程模型,设计具有较高执行效率和安全性的密码算法。实验结果表明,相比于AES算法,本文设计算法的执行效率提高了近40%。在安全性方面,算法具有密钥空间大、密钥敏感性良好的特性。
<qq_28339273> 在上传 | 大小：928768

[Hadoop] 基于Hadoop、Spark及Flink大规模数据分析的性能评价

说明：针对目前缺少大型数据分析框架间的横向比较问题,使用有代表性的大数据工作负载,对Hadoop、Spark和Flink进行性能和可扩展性等因素的比较评价。此外,通过调整工作负载的一些主要参数,例如HDFS块大小、输入数据大小、互连网络或线程配置等,描述了这些框架的行为模式特征。实验结果分析表明,对于非排序的基准测试程序,使用Spark或Flink替代Hadoop,分别带来平均77%和70%执行时间的降低。整体上,Spark的性能结果最好;而Flink通过使用的显式迭代程序,极大提高了迭代算法的性能
<qq_28339273> 在上传 | 大小：2097152

[Hadoop] 基于Hadoop个性化推荐算法设计与实现

说明：为了提升个性化推荐系统的大数据处理能力,选择基于用户聚类协同过滤的个性化推荐算法,并在Hadoop平台下实现算法的分布式并行化.离线状态下对用户物品矩阵降维,对用户进行聚类得到类别信息列表,对用户在类簇内进行推荐,并在相似度计算内引入物品贡献权重,最后对算法实现并行化得到推荐结果,实现基于用户聚类的分布式协同过滤推荐算法.最后对推荐结果进行测试分析,证明分布式个性化推荐有更好的推荐准确性和实时性.
<qq_28339273> 在上传 | 大小：368640

[Hadoop] 基于Hadoop的Apriori算法研究与优化

说明：为解决传统数据挖掘算法在大量数据处理时面临的内存占用、计算性能等方面的问题,基于Hadoop平台,应用HBase文件存储系统对海量数据分布式存储以及Map Reduce框架进行分布式计算,实现Apriori经典数据挖掘算法。通过对已实现的Apriori算法进行优化,引入FIS-IS算法思想,从数据库扫描次数和容量消减方向进行改进。提出针对数据本身进行频繁预选项生成方法与对于频繁预选项剪枝步骤进行分组检索的优化方法。实验结果验证了改进算法对算法运行具有良好的优化效果。
<qq_28339273> 在上传 | 大小：1048576

[Hadoop] Hadoop大数据平台安全问题和解决方案的综述

说明：大数据时代的到来,更强的计算机和更成熟的大数据平台工具让企业从海量数据中挖掘数据价值成为了可能,尤其是基于Hadoop的大数据平台,甚至利用廉价的商业硬件处理TB、PB级别的数据.在最初Hadoop大数据平台落地建设的过程中,往往功能先行,而忽略了安全的管控策略,直到2009年Yahoo团队提出了基于Kerberos的身份验证方案,才带动了Hadoop大数据平台安全管控工作的全面开展.本文介绍了Hadoop大数据平台的基本历程,描述了2009年之前Hadoop大数据平台存在的传统安全问题,并尝
<qq_28339273> 在上传 | 大小：1015808

[Hadoop] 基于Hadoop的FP-Growth关联规则并行改进算法

说明：大数据环境下,传统的串行FP-Growth算法在处理海量数据时,占用内存过大、频繁项多,适用于大数据情况的PFP(parallel FP-Growth)算法存在数据量增大无法处理的缺陷。针对这些问题,提出了基于Hadoop的负载均衡数据分割FP-Growth并行算法。在Hadoop平台下,使用负载均衡和数据分割相结合的方式对原始事务数据集分片实现并行化。实验证明,基于Hadoop的负载均衡数据分割FP-Growth并行算法在处理数据量和效率上有所提高。
<qq_28339273> 在上传 | 大小：515072