Thêm cấu trúc vào tệp HDF5 - Tương đương với "Quy ước NetCDF" cho HDF5

Question

NetCDF4 có quy ước Conventions để thêm cấu trúc vào NetCDF. Tôi đang tìm kiếm những điều tương tự nhưng đối với HDF5 đặc biệt.

Mục đích chung của tôi là thêm cấu trúc vào tệp HDF5 của tôi theo cách tiêu chuẩn. Tôi muốn một cái gì đó giống như những gì HDF5 làm với images để xác định một loại, sử dụng thuộc tính vào các nhóm và tập hợp dữ liệu ~ như:

CLASS: IMAGE 
IMAGE_VERSION: 1.2 
IMAGE_SUBCLASS: IMAGE_TRUECOLOR 
... 

Nhưng như xa như tôi có thể nói rằng những hình ảnh đặc tả là đứng một mình. Có lẽ tôi nên tái sử dụng các "quy ước" của NetCDF?

Cập nhật:

Tôi biết NetCDF4 được thực hiện trên đầu trang của HDF5. Trong trường hợp này, chúng tôi có dữ liệu từ mô phỏng nhiễu và thí nghiệm không phải dữ liệu địa lý. Dữ liệu này thường được giới hạn ở < = 4D. Chúng tôi sử dụng HDF5 để lưu trữ dữ liệu này, nhưng chúng tôi không có tiêu chuẩn phát triển. Các định dạng chuẩn giả đã sắp xếp phát triển hữu cơ trong tổ chức.

Answer 1

Lựa chọn tốt nhất cho một tiêu chuẩn thực sự phụ thuộc vào loại dữ liệu bạn muốn lưu trữ. Các quy ước CF hữu ích nhất đối với dữ liệu đo được tham chiếu địa lý, ví dụ như dữ liệu được đo bằng vệ tinh. Sẽ hữu ích khi biết dữ liệu của bạn bao gồm những gì.

Giả sử bạn đã tham chiếu địa lý dữ liệu, tôi nghĩ rằng bạn có hai lựa chọn:

1. Tái sử dụng các quy ước CF trong HDF như bạn đề nghị. Có nhiều người tìm kiếm hơn, tìm kiếm nhanh trên Google đã cho tôi this.
2. HDF-EOS (tuyên bố từ chối trách nhiệm, tôi chưa bao giờ sử dụng nó). Nó lưu trữ dữ liệu trong các tập tin HDF bằng cách sử dụng một cấu trúc nhất định nhưng dường như yêu cầu một thư viện mở rộng để sử dụng. Tôi không tìm thấy thông số kỹ thuật của cấu trúc, chỉ có API. Ngoài ra ở đó không có vẻ là một cộng đồng sôi động bên ngoài NASA.

Vì vậy, tôi có thể sử dụng tùy chọn 1: sử dụng quy ước CF trong tệp HDF của bạn và xem công cụ của bên thứ ba, chẳng hạn như Panoply, có thể tận dụng nó hay không.

Answer 2

Tệp NetCDF4 thực sự được lưu trữ bằng định dạng HDF5 (http://www.unidata.ucar.edu/publications/factsheets/current/factsheet_netcdf.pdf), tuy nhiên chúng sử dụng quy ước netCDF4 cho thuộc tính, kích thước, v.v. Tệp tự mô tả là điểm cộng lớn. HDF5 không có netCDF4 cho phép tự do hơn trong việc xác định dữ liệu của bạn. Có lý do cụ thể nào mà bạn muốn sử dụng HDF5 thay vì netCDF4 không?

Tôi sẽ nói rằng nếu bạn không có bất kỳ ràng buộc cụ thể nào (như mô hình hoặc phần mềm hiển thị lỗi trên tệp netCDF4) thì bạn nên sử dụng netCDF. netCDF4 có thể được sử dụng bởi các toán tử NCO/CDO, ncl (ncl cũng chấp nhận HDF5), idl, mô đun python netCDF4, chồn, vv Cá nhân, tôi thấy netCDF4 rất thuận tiện để lưu trữ dữ liệu khí hậu hoặc khí tượng. Có rất nhiều nhà khai thác đã được viết cho nó và bạn không phải trải qua những rắc rối khi phát triển một tiêu chuẩn cho dữ liệu của riêng bạn - nó đã được thực hiện cho bạn. Có thể sử dụng CMOR (http://cmip-pcmdi.llnl.gov/cmip5/output_req.html) để ghi dữ liệu khí hậu phù hợp với CF. Nó được sử dụng cho dự án so sánh mô hình khí hậu gần đây nhất.

Mặt khác, HDF5 có thể đáng giá nếu bạn có loại dữ liệu khác và bạn đang tìm kiếm một số chức năng rất cụ thể mà bạn cần định dạng tệp tùy chỉnh hơn.Bạn có nhớ chỉ rõ nhu cầu của bạn tốt hơn một chút trong các bình luận?

Cập nhật:

Thật không may, các tiêu chuẩn cho tên biến và lĩnh vực là một chút ít rõ ràng và tổ chức tốt cho các tập tin HDF5 hơn netCDF vì đây là định dạng của sự lựa chọn cho các dự án xây dựng mô hình khí hậu lớn như CMIP hoặc CORDEX. Vấn đề cơ bản là giảm xuống bằng cách sử dụng các quy ước của EOSDIS hoặc CF, nhưng việc tìm kiếm các thư viện hiện đang được duy trì để thực hiện các tiêu chuẩn này cho tệp HDF5 và có tài liệu rõ ràng không dễ dàng (nếu bạn có thể không đặt ra câu hỏi).

Nếu bạn thực sự chỉ muốn một tiêu chuẩn, NASA giải thích tất cả các tiêu chuẩn siêu dữ liệu có thể khác nhau trong các chi tiết đau đớn ở đây: http://gcmd.nasa.gov/add/standards/index.html.

Để biết thông tin, HDF-EOS và HDF5 không giống định dạng (HDF-EOS đã chứa dữ liệu bản đồ và được chuẩn hóa cho dữ liệu khoa học trái đất), vì vậy tôi không biết liệu định dạng này có quá hạn chế hay không bạn. Các công cụ để làm việc với định dạng này được mô tả ở đây: http://hdfeos.net/software/tool.php và tóm tắt tại đây http://hdfeos.org/help/reference/HTIC_Brochure_Examples.pdf.

Nếu bạn vẫn thích sử dụng HDF5, đặt cược tốt nhất của bạn có thể là tải xuống tệp định dạng HDF5 từ NASA cho dữ liệu tương tự và sử dụng nó làm cơ sở để tạo công cụ của riêng bạn trong ngôn ngữ bạn chọn. Dưới đây là danh sách các ví dụ toàn diện sử dụng định dạng HDF5, HDF4 và HDF-EOS với các tập lệnh để xử lý dữ liệu và hiển thị trực quan bằng Python, MATLAB, IDL và NCL: http://hdfeos.net/zoo/index_openLAADS_Examples.php#MODIS

NASA làm cho các công cụ có sẵn để bạn có thể làm việc với dữ liệu của họ, nhưng không nhất thiết để bạn có thể tạo lại dữ liệu có cấu trúc tương tự trong cài đặt lab của riêng mình.

Dưới đây là một số thông số kỹ thuật hơn/Thông tin về hdf5 cho dữ liệu khoa học trái đất từ ​​NASA: Sản phẩm MERRA https://gmao.gsfc.nasa.gov/products/documents/MERRA_File_Specification.pdf grads thông tin tương thích HDF5 http://disc.sci.gsfc.nasa.gov/recipes/?q=recipes/How-to-Read-Data-in-HDF-5-Format-with-GrADS HDF công cụ thao tác dữ liệu trên khí quyển Trung tâm Dữ liệu Khoa học của NASA: https://eosweb.larc.nasa.gov/HBDOCS/hdf_data_manipulation.html

Hope điều này giúp một chút.