© 1999-2048 dssz.net 粤ICP备11031372号
[Hadoop] 基于 Hadoop 的海量小文件处理技术研究
说明: 基于 Hadoop 的海量小文件处理技术研究 ,主要工作包括两个方面: 1) 基于多层索引的小文件读写策略的研究与实现。本文根据 Hadoop 平台现 有小文件处理的思想,对海量小文件进行合并然后建立索引。其中索引结构的设 计是本文的创新点及研究重点,包括索引预处理、索引分层、索引分片等。通过 对小文件按类型进行合并,建立多层索引,并对Hadoop平台源代码进行相应改进, 海量小文件在 Hadoop 平台上耗费节点内存的问题得到解决,检索效率得到一定程 度提升、名字节点负担得到减轻、实用性也得<bbqm2012> 上传 | 大小:3mb