Truy cập bitfields trong khi đọc/ghi cấu trúc dữ liệu nhị phân

Question

Tôi đang viết trình phân tích cú pháp cho định dạng nhị phân. Định dạng nhị phân này liên quan đến các bảng khác nhau, một lần nữa trong định dạng nhị phân có chứa các kích thước trường khác nhau thường (một nơi nào đó giữa 50 - 100 trong số chúng).

Hầu hết các công trình này sẽ có bitfields và sẽ trông giống như thế này khi đại diện trong C:

struct myHeader 
{ 
    unsigned char fieldA : 3 
    unsigned char fieldB : 2; 
    unsigned char fieldC : 3; 
    unsigned short fieldD : 14; 
    unsigned char fieldE : 4 
} 

Tôi đã xem qua các mô-đun struct nhưng nhận ra rằng độ phân giải thấp nhất là một byte và không một chút, nếu không mô-đun khá nhiều là phù hợp với công việc này.

Tôi biết bitfields được hỗ trợ bằng cách sử dụng ctypes, nhưng tôi không chắc chắn làm thế nào để giao diện cấu trúc ctypes chứa bitfields tại đây.

Tùy chọn khác của tôi là tự thao tác các bit và cho nó vào các byte và sử dụng nó với mô-đun cấu trúc - nhưng vì tôi có gần 50-100 loại cấu trúc khác nhau, viết mã để trở thành lỗi hơn- dễ bị. Tôi cũng lo lắng về hiệu quả vì công cụ này có thể được sử dụng để phân tích các gigabyte dữ liệu nhị phân lớn.

Cảm ơn.

Answer 1

Sử dụng bitstring (mà bạn đề cập đến bạn đang nhìn vào) nó phải đủ dễ dàng để thực hiện. Đầu tiên để tạo ra một số dữ liệu để giải mã:

>>> myheader = "3, 2, 3, 14, 4" 
>>> a = bitstring.pack(myheader, 1, 0, 5, 1000, 2) 
>>> a.bin 
'00100101000011111010000010' 
>>> a.tobytes() 
'%\x0f\xa0\x80' 

Và sau đó giải mã nó một lần nữa chỉ là

>>> a.readlist(myheader) 
[1, 0, 5, 1000, 2] 

mối quan tâm chính của bạn cũng có thể là tốc độ. Thư viện cũng được tối ưu hóa Python, nhưng nó không nhanh như thư viện C.

Answer 2

Tôi chưa thử nghiệm nghiêm ngặt điều này, nhưng có vẻ như nó hoạt động với các loại chưa ký (chỉnh sửa: nó cũng hoạt động với các loại ký tự/loại ngắn).

Chỉnh sửa 2: Điều này thực sự bị trúng hoặc bỏ lỡ. Nó phụ thuộc vào cách trình biên dịch của thư viện đóng gói các bit vào cấu trúc, mà không được chuẩn hóa. Ví dụ: với gcc 4.5.3, nó hoạt động miễn là tôi không sử dụng thuộc tính để đóng gói cấu trúc, tức là __attribute__ ((__packed__)) (vì vậy thay vì 6 byte, nó được đóng gói thành 4 byte, bạn có thể kiểm tra với __alignof__ và sizeof). Tôi có thể làm cho nó gần như làm việc bằng cách thêm _pack_ = True vào định nghĩa Structure Structurepes, nhưng nó không thành công cho fieldE. Ghi chú gcc: "Bù đắp trường bit được đóng gói 'fieldE' đã thay đổi trong GCC 4.4".

import ctypes 

class MyHeader(ctypes.Structure): 
    _fields_ = [ 
     ('fieldA', ctypes.c_ubyte, 3), 
     ('fieldB', ctypes.c_ubyte, 2), 
     ('fieldC', ctypes.c_ubyte, 3), 
     ('fieldD', ctypes.c_ushort, 14), 
     ('fieldE', ctypes.c_ubyte, 4), 
    ] 

lib = ctypes.cdll.LoadLibrary('C/bitfield.dll') 

hdr = MyHeader() 
lib.set_header(ctypes.byref(hdr)) 

for x in hdr._fields_: 
    print("%s: %d" % (x[0], getattr(hdr, x[0]))) 

Output:

fieldA: 3 
fieldB: 1 
fieldC: 5 
fieldD: 12345 
fieldE: 9 

C:

typedef struct _MyHeader { 
    unsigned char fieldA : 3; 
    unsigned char fieldB : 2; 
    unsigned char fieldC : 3; 
    unsigned short fieldD : 14; 
    unsigned char fieldE : 4; 
} MyHeader, *pMyHeader; 

int set_header(pMyHeader hdr) { 

    hdr->fieldA = 3; 
    hdr->fieldB = 1; 
    hdr->fieldC = 5; 
    hdr->fieldD = 12345; 
    hdr->fieldE = 9; 

    return(0); 
}