文件名称:
基于 Hadoop 的海量小文件处理技术研究
开发工具:
文件大小: 3mb
下载次数: 0
上传时间: 2019-03-24
详细说明： 基于 Hadoop 的海量小文件处理技术研究 ，主要工作包括两个方面： 1) 基于多层索引的小文件读写策略的研究与实现。本文根据 Hadoop 平台现 有小文件处理的思想，对海量小文件进行合并然后建立索引。其中索引结构的设 计是本文的创新点及研究重点，包括索引预处理、索引分层、索引分片等。通过 对小文件按类型进行合并，建立多层索引，并对Hadoop平台源代码进行相应改进， 海量小文件在 Hadoop 平台上耗费节点内存的问题得到解决，检索效率得到一定程 度提升、名字节点负担得到减轻、实用性也得到提高。 2) 基于缓存技术的小文件读取策略的研究与实现。本文实现了基于 Java 语言 的Adaptive Repalcement Cache缓存管理算法(ARC算法) ，并 提出改进的ARC算法， 以适应海量小文件中存在大量热点数据的情况。改进的 ARC 算法可以预测将会被 频繁访问的小文件并将其进行缓存，并动态置换缓存中的数据，以此提高热点小 文件的检索效率。
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
相关搜索:
