pandas读取HDF5文件

Pandas保存数据为HDF5格式时应注意数据类型 在平常的数据存取过程中，我们常常使用csv格式的文件，此格式的文件具有可直接打开、直接编辑等等优点，且使用Python读取csv格式的文件的速度比读取txt格式的更快。由于最近常常需要反复处理几个百万行乃至千万行的数据文件，所以即使我使用了csv格式的文件，读取速度也有显得有些慢，秉持着着“节约时间就等于延长生命”的精神，我四处寻找能够进一步减少从文件中读取数据的时间的方法。这时，我看到了文章: Pandas 中 read_csv 与 read

1、引言 通过参考相关博客对hdf5格式简要介绍。 hdf5在存储的是支持压缩，使用的方式是blosc，这个是速度最快的也是pandas默认支持的。 使用压缩可以提磁盘利用率，节省空间。 开启压缩也没有什么劣势，只会慢一点点。 压缩在小数据量的时候优势不明显，数据量大了才有优势。 同时发现hdf读取文件的时候只能是一次写，写的时候可以append，可以put，但是写完成了之后关闭文件，就不能再写了， 会覆盖。 另外，为什么单独说pandas，主要因为本人目前对于h5py这个包的理解不是很深入，不