Python: Tìm kiếm/đọc dữ liệu nhị phân

Question

Tôi đang đọc trong tệp nhị phân (trong trường hợp này là jpg) và cần tìm một số giá trị trong tệp đó. Đối với những người quan tâm, tệp nhị phân là một jpg và tôi đang cố gắng chọn kích thước của nó bằng cách tìm kiếm cấu trúc nhị phân là detailed here.

Tôi cần tìm FFC0 trong dữ liệu nhị phân, bỏ qua một số byte và sau đó đọc 4 byte (điều này sẽ cho tôi kích thước hình ảnh).

Cách tốt để tìm kiếm giá trị trong dữ liệu nhị phân là gì? Có tương đương với 'tìm', hoặc một cái gì đó như tái?

Answer 1

Bạn thực sự có thể tải tệp vào chuỗi và tìm chuỗi đó cho chuỗi byte 0xffc0 bằng phương pháp str.find(). Nó hoạt động cho bất kỳ chuỗi byte nào.

Mã để làm điều này phụ thuộc vào một vài điều. Nếu bạn mở tệp ở chế độ nhị phân và bạn đang sử dụng Python 3 (cả hai có thể là cách thực hành tốt nhất cho kịch bản này), bạn sẽ cần phải tìm chuỗi byte (trái với chuỗi ký tự), có nghĩa là bạn phải thêm tiền tố vào chuỗi với b.

with open(filename, 'rb') as f: 
    s = f.read() 
s.find(b'\xff\xc0') 

Nếu bạn mở tập tin trong chế độ văn bản bằng Python 3, bạn sẽ phải tìm kiếm một chuỗi ký tự:

with open(filename, 'r') as f: 
    s = f.read() 
s.find('\xff\xc0') 

mặc dù không có lý do cụ thể để làm điều này. Nó không giúp bạn có được lợi thế so với cách trước và nếu bạn đang sử dụng nền tảng xử lý tệp nhị phân và tệp văn bản khác nhau (ví dụ: Windows), có khả năng điều này sẽ gây ra sự cố.

Python 2 không phân biệt giữa chuỗi byte và chuỗi ký tự, vì vậy nếu bạn đang sử dụng phiên bản đó, bạn không bao gồm hoặc loại trừ b trong b'\xff\xc0'. Và nếu nền tảng của bạn xử lý tệp nhị phân và tệp văn bản giống hệt nhau (ví dụ: Mac hoặc Linux), bạn cũng không cần phải sử dụng 'r' hoặc 'rb' làm chế độ tệp hay không. Nhưng tôi vẫn khuyên bạn nên sử dụng một cái gì đó giống như mẫu mã đầu tiên ở trên chỉ để tương thích về phía trước - trong trường hợp bạn đã từng chuyển sang Python 3, thì đó là một điều ít khắc phục hơn.

Answer 2

Các re mô-đun không làm việc với cả hai chuỗi và nhị phân dữ liệu (str bằng Python 2 và bytes bằng Python 3), do đó bạn có thể sử dụng nó cũng như str.find cho nhiệm vụ của mình.

Answer 3

Vâng, rõ ràng là có PIL Mô-đun hình ảnh có kích thước làm thuộc tính. Nếu bạn muốn có được kích thước chính xác như thế nào bạn đề nghị và không tải các tập tin bạn sẽ phải đi qua nó từng dòng. Không phải là cách tốt nhất để làm điều đó nhưng nó sẽ làm việc.

Answer 4

Mô-đun bitstring được thiết kế cho mục đích này khá nhiều. Đối với trường hợp của bạn đoạn mã sau (mà tôi đã không kiểm tra) sẽ giúp minh họa:

from bitstring import ConstBitStream 
# Can initialise from files, bytes, etc. 
s = ConstBitStream(filename='your_file') 
# Search to Start of Frame 0 code on byte boundary 
found = s.find('0xffc0', bytealigned=True) 
if found: 
    print("Found start code at byte offset %d." % found[0]) 
    s0f0, length, bitdepth, height, width = s.readlist('hex:16, uint:16, 
                 uint:8, 2*uint:16') 
    print("Width %d, Height %d" % (width, height)) 

Answer 5

Thay vì đọc toàn bộ tập tin vào bộ nhớ, tìm kiếm nó và sau đó viết một tập tin mới ra đĩa bạn có thể sử dụng mmap mô-đun cho việc này. mmap sẽ không lưu toàn bộ tệp vào bộ nhớ và nó cho phép sửa đổi tại chỗ.

#!/usr/bin/python 

import mmap 

with open("hugefile", "rw+b") as f: 
    mm = mmap.mmap(f.fileno(), 0) 
    print mm.find('\x00\x09\x03\x03') 

Answer 6

python> = 3,2

import re 

f = open("filename.jpg", "rb") 
byte = f.read() 
f.close() 

matchObj = re.match(b'\xff\xd8.*\xff\xc0...(..)(..).*\xff\xd9', byte, re.MULTILINE|re.DOTALL) 
if matchObj: 
    # http://stackoverflow.com/questions/444591/convert-a-string-of-bytes-into-an-int-python 
    print (int.from_bytes(matchObj.group(1), 'big')) # height 
    print (int.from_bytes(matchObj.group(2), 'big')) # width 

Answer 7

Phương pháp find() nên chỉ được sử dụng nếu bạn cần phải biết vị trí của sub, nếu không, bạn có thể sử dụng toán tử in, ví dụ:

with open("foo.bin", 'rb') as f: 
    if b'\x00' in f.read(): 
     print('The file is binary!') 
    else: 
     print('The file is not binary!') 

Answer 8

Trong Python 3.x bạn có thể tìm kiếm chuỗi byte bằng một chuỗi byte khác như sau:

>>> byte_array = b'this is a byte array\r\n\r\nXYZ\x80\x04\x95 \x00\x00\x00\x00\x00' 
>>> byte_array.find('\r\n\r\n'.encode()) 
20 
>>>