使用HDF5在Pandas中高效存储数据

1. 简介

HDF5（Hierarchical Data Formal）是用于存储大规模数值数据的理想格式。其文件后缀名为h5，具有快速的存取速度，并且可以在文件内部按照明确的层次结构存储数据，类似于一个高度整合的文件夹，内部可存放不同类型的数据。在Python中，有两种主要方式来操作HDF5文件：一是利用pandas中内建的一系列HDF5文件操作方法，二是利用h5py模块完成从Python原生数据结构到HDF5格式的转换。本文将着重介绍pandas中读写HDF5文件的方法。

2. 利用pandas操纵HDF5文件

2.1 写入文件

在pandas中，可以使用HDFStore()来生成管理HDF5文件IO操作的对象。主要参数包括：

• path：指定h5文件的名称（需要包含完整路径信息）
• mode：指定IO操作的模式，包括’a’、’r’、’w’、’r+’，默认为’a’
• complevel：控制h5文件的压缩水平，默认为0，不压缩

以下是创建HDF5 IO对象的示例：

<code>import pandas as pd store = pd.HDFStore('demo.h5')</code>

可以通过键值对将不同的数据存入到store对象中，也可以使用put()方法：

<code>store['s'], store['df'] = s, df</code>

或者：

<code>store.put(key='s', value=s) store.put(key='df', value=df)</code>

2.2 读取文件

可以使用类似的方式创建与HDF5文件连接的IO对象，然后通过键名索引或者get()方法读取数据：

<code>store = pd.HDFStore('demo.h5') df1 = store['df'] df2 = store.get('df')</code>

另一种读取HDF5文件中数据的方法是使用read_hdf()函数：

<code>df = pd.read_hdf('demo.h5', key='df')</code>

需要注意的是，读取h5文件时，不能同时存在其他未关闭的IO对象，否则会报错。

2.3 性能测试

针对存储同样大小的数据，比较了HDF5和csv格式文件在写入和读取速度上的差异。结果显示，HDF5比csv格式文件快了将近50倍，并且占用的空间更小。在读取方面，HDF5也明显快于csv格式文件。

总结

HDF5是一种高效的数据存储格式，在处理大规模数据时特别有优势。通过pandas提供的方法，我们可以轻松地读写HDF5文件，实现数据的高效存储和处理。