Không thể lưu DataFrame để HDF5 ("Thông điệp tiêu đề đối tượng là quá lớn")

Question

Tôi có một DataFrame trong Pandas:

In [7]: my_df 
Out[7]: 
<class 'pandas.core.frame.DataFrame'> 
Int64Index: 34 entries, 0 to 0 
Columns: 2661 entries, airplane to zoo 
dtypes: float64(2659), object(2) 

Khi tôi cố gắng tiết kiệm này vào đĩa:

store = pd.HDFStore(p_full_h5) 
store.append('my_df', my_df) 

tôi get:

File "H5A.c", line 254, in H5Acreate2 
    unable to create attribute 
    File "H5A.c", line 503, in H5A_create 
    unable to create attribute in object header 
    File "H5Oattribute.c", line 347, in H5O_attr_create 
    unable to create new attribute in header 
    File "H5Omessage.c", line 224, in H5O_msg_append_real 
    unable to create new message 
    File "H5Omessage.c", line 1945, in H5O_msg_alloc 
    unable to allocate space for message 
    File "H5Oalloc.c", line 1142, in H5O_alloc 
    object header message is too large 

End of HDF5 error back trace 

Can't set attribute 'non_index_axes' in node: 
/my_df(Group) u''. 

Tại sao?

Lưu ý: Trong trường hợp vấn đề, các tên cột DataFrame rất đơn giản chuỗi nhỏ:

In[12]: max([len(x) for x in list(my_df.columns)]) 
Out{12]: 47 

Đây là tất cả với Pandas 0.11 và phiên bản ổn định mới nhất của IPython, Python và HDF5.

Answer 1

HDF5 có giới hạn tiêu đề là 64kb cho tất cả siêu dữ liệu của các cột. Điều này bao gồm tên, loại, v.v. Khi bạn đi khoảng 2000 cột, bạn sẽ hết dung lượng lưu trữ tất cả siêu dữ liệu. Đây là một hạn chế cơ bản của pytables. Tôi không nghĩ họ sẽ sớm giải quyết vấn đề của họ. Bạn sẽ phải chia bảng hoặc chọn một định dạng lưu trữ khác.

Answer 2

Tính đến năm 2014, HDF là updated

 
If you are using HDF5 1.8.0 or previous releases, there is a limit on the number 
of fields you can have in a compound datatype. 
This is due to the 64K limit on object header messages, into which datatypes are encoded. (However, you can create a lot of fields before it will fail. 
One user was able to create up to 1260 fields in a compound datatype before it failed.) 

Đối với pandas, nó có thể tiết kiệm Dataframe với số arbirtary cột với format='fixed' lựa chọn, định dạng 'bảng' vẫn còn gây những lỗi tương tự như trong chủ đề. Tôi cũng đã thử h5py và gặp lỗi 'tiêu đề quá lớn' (mặc dù tôi có phiên bản> 1.8.0).