[Hadoop] Hadoop技术内幕-深入解析HADOOP COMMON和HDFS架构设计与实现原理

说明： Hadoop技术内幕-深入解析HADOOP COMMON和HDFS架构设计与实现原理
<qq_33506160> 上传 | 大小：57mb

[Hadoop] hadoop-eclipse-plugin-2.8.4

说明： Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作，可以直接Eclipse中浏览HDFS上的文件，可以直接新建选择MapReduce项目，项目自动包含所有需要的hadoop jar包，不必再手动拷贝。
<huxichen1234> 上传 | 大小：36mb

[Hadoop] 面向大数据的超混沌和AES混合加密方法研究

说明： 针对大数据环境中的隐私保护及数据安全问题,综合运用混沌密码和AES算法的优点,提出一种面向大数据的超混沌和AES混合加密方法。利用两个超混沌系统产生的混沌序列,设计一个超混沌分组加密方案;基于Hadoop大数据平台的MapReduce并行编程模型,设计超混沌和AES级联加密的算法。实验结果表明,算法具有密钥空间大,执行效率高,密文统计特性及密钥敏感性良好的特点。
<qq_28339273> 上传 | 大小：1mb

[Hadoop] 大数据分析平台Hadoop的关键技术

说明： 本文着重研究了基于Hadoop平台大数据的分析技术的发展和功能模块的应用,对关键技术进行比较分析,将整体结构框架进行改良,使数据分析平台在不受场景限制的前提下进行使用。
<qq_28339273> 上传 | 大小：1mb

[Hadoop] 基于Hadoop的空间科学大数据的区域检索算法

说明： 针对空间科学大数据的快速检索需求,提出了分布式区域检索算法。算法主要包括四维空间科学数据的索引方法和分布式四维空间科学数据的索引架构两部分。在KTS存储结构下,通过基于立方体的Block-Grid三维网格剖分方法建立两级空间索引结构,包括分布式节点间的全局索引和分布式节点内的局部索引;在分布式系统架构下,确定了索引在分布式主从节点的分布策略以及数据在分布式环境下的容错机制。基于Hadoop基础架构设计了NSSC-Hadoop系统,通过多组试验数据测试算法效率,并与直接基于Hadoop无索引遍历
<qq_28339273> 上传 | 大小：1mb

[Hadoop] 基于云计算的Web数据挖掘Hadoop仿真平台研究

说明： 自2007年以来,随着云计算被广泛的应用到互联网,大量的服务器终端数据如何有效的组织,以便稳定、高效的运行已成为当前亟待解决的问题,基于云计算的web数据挖掘Hadoop仿真平台能够较快速的通过相关的网络结构,解决服务器地域分布较为分散,数据流量大等网络关键难题,最终实现仿真运算,从而提高网络平台的性能,最终达到云计算环境下的高速分布式计算的目标。
<qq_28339273> 上传 | 大小：1mb

[Hadoop] 基于Hadoop的分布式聚类算法研究

说明： 基于工业领域广泛用到的Hadoop分布式计算平台,使用Canopy+K-means算法对手写数字进行聚类研究.针对传统Canopy算法初始阈值的确定问题,引入"最大最小化原则"确定初始阈值,计算得到K-means算法所需的初始聚类中心点.实验结果表明,Canopy算法能够较大程度地提高K-means算法的正确率.
<qq_28339273> 上传 | 大小：449kb

[Hadoop] Hadoop集群中影响应用性能的因素分析

说明： 针对Hadoop集群中应用执行的低效率、高成本问题,首先,通过对Hadoop分布式存储技术和并行编程模型的分析,发现数据集采用单文件还是多文件方式,以及数据块划分的大小是影响其性能的主要因素.其次,设计实验探讨了不同规模集群环境下,两类数据集以及不同大小的数据块对应用性能的影响程度.最后,综合实验结果发现,在数据量一定的情况下,随着数据块的增大,map任务数的变化导致大文件数据集的执行效率越来越高于小文件数据集的执行效率;另外,两类数据集在小规模集群(1个Slave)上的执行效率大约均是大规模
<qq_28339273> 上传 | 大小：911kb

[Hadoop] Hadoop云平台下基于HOG特征和Adaboost分类器的快速行人检测算法

说明： 行人检测在安保领域、无人驾驶领域、机器视觉领域以及多媒体分析领域等具有广泛的应用;针对目前行人检测技术运算量大、实时性差等不足,提出了一种Hadoop云平台下基于梯度直方图(HOG)特征和Adaboost算法的快速行人检测方法;该方法首先利用云计算模式提取图片的HOG特征,然后利用PCA方法对提取特征降维,最后使用Adaboost算法构建分类器对降维特征进行分类;利用不同场景照片对本文方法进行实验,仿真结果表明,在保持较高检测准确度前提下,采用Hadoop云计算的检测速度比传统的基于HOG特征
<qq_28339273> 上传 | 大小：1mb

[Hadoop] 基于Hadoop的Lorenz超混沌加密算法设计

说明： 针对大数据环境中存在的数据安全及隐私保护问题,提出一种基于Hadoop大数据平台的超混沌数据加密算法。利用超混沌Lorenz系统更加复杂的动力学行为以及所产生的序列具有更好的随机性等特点,结合Hadoop平台的MapReduce并行编程模型,设计具有较高执行效率和安全性的密码算法。实验结果表明,相比于AES算法,本文设计算法的执行效率提高了近40%。在安全性方面,算法具有密钥空间大、密钥敏感性良好的特性。
<qq_28339273> 上传 | 大小：907kb

[Hadoop] 基于Hadoop、Spark及Flink大规模数据分析的性能评价

说明： 针对目前缺少大型数据分析框架间的横向比较问题,使用有代表性的大数据工作负载,对Hadoop、Spark和Flink进行性能和可扩展性等因素的比较评价。此外,通过调整工作负载的一些主要参数,例如HDFS块大小、输入数据大小、互连网络或线程配置等,描述了这些框架的行为模式特征。实验结果分析表明,对于非排序的基准测试程序,使用Spark或Flink替代Hadoop,分别带来平均77%和70%执行时间的降低。整体上,Spark的性能结果最好;而Flink通过使用的显式迭代程序,极大提高了迭代算法的性能
<qq_28339273> 上传 | 大小：2mb

[Hadoop] 基于Hadoop个性化推荐算法设计与实现

说明： 为了提升个性化推荐系统的大数据处理能力,选择基于用户聚类协同过滤的个性化推荐算法,并在Hadoop平台下实现算法的分布式并行化.离线状态下对用户物品矩阵降维,对用户进行聚类得到类别信息列表,对用户在类簇内进行推荐,并在相似度计算内引入物品贡献权重,最后对算法实现并行化得到推荐结果,实现基于用户聚类的分布式协同过滤推荐算法.最后对推荐结果进行测试分析,证明分布式个性化推荐有更好的推荐准确性和实时性.
<qq_28339273> 上传 | 大小：360kb