Làm cách nào để xác định tệp nhị phân và tệp văn bản bằng Python?

Question

Tôi cần xác định xem tệp nào tệp là nhị phân và văn bản trong một thư mục.

Tôi đã thử sử dụng mimetypes nhưng không phải là ý tưởng hay trong trường hợp của tôi vì nó không thể xác định tất cả các tệp, và tôi có người lạ ở đây ... Tôi chỉ cần biết, nhị phân hoặc văn bản. Đơn giản ? Nhưng tôi couldn't tìm một giải pháp ...

Cảm ơn

Answer 1

Cảm ơn tất cả mọi người, tôi tìm thấy một giải pháp phù hợp với vấn đề của tôi. Tôi tìm thấy mã này tại http://code.activestate.com/recipes/173220/ và tôi đã thay đổi một chút để phù hợp với tôi.

Nó hoạt động tốt.

from __future__ import division 
import string 

def istext(filename): 
    s=open(filename).read(512) 
    text_characters = "".join(map(chr, range(32, 127)) + list("\n\r\t\b")) 
    _null_trans = string.maketrans("", "") 
    if not s: 
     # Empty files are considered text 
     return True 
    if "\0" in s: 
     # Files with null bytes are likely binary 
     return False 
    # Get the non-text characters (maps a character to itself then 
    # use the 'remove' option to get rid of the text characters.) 
    t = s.translate(_null_trans, text_characters) 
    # If more than 30% non-text characters, then 
    # this is considered a binary file 
    if float(len(t))/float(len(s)) > 0.30: 
     return False 
    return True 

Answer 2

Nếu kịch bản của bạn đang chạy trên * nix, bạn có thể sử dụng một cái gì đó như thế này:

import subprocess 
import re 

def is_text(fn): 
    msg = subprocess.Popen(["file", fn], stdout=subprocess.PIPE).communicate()[0] 
    return re.search('text', msg) != None 

Answer 3

Đó là vốn không đơn giản. Không có cách nào để biết chắc chắn, mặc dù bạn có thể đoán một cách hợp lý trong hầu hết các trường hợp.

Những điều bạn có thể muốn làm:

• Hãy tìm con số ma thuật được biết đến trong chữ ký nhị phân
• Look cho Unicode byte-trật tự-mark vào lúc bắt đầu của tập tin
• Nếu tập tin là thường xuyên 00 xx 00 xx 00 xx (đối với xx tùy ý) hoặc ngược lại, có thể là UTF-16
• Nếu không, hãy tìm số 0 trong tệp; tệp có số 0 ở là không thể là tệp văn bản mã hóa một byte.

Nhưng đó là tất cả heuristic - có thể có một tệp có tệp văn bản hợp lệ và một tệp hình ảnh hợp lệ chẳng hạn. Nó có thể là vô nghĩa như một tập tin văn bản, nhưng hợp pháp trong một số mã hóa hoặc khác ...

Answer 4

Nó có thể là có thể sử dụng libmagic đoán kiểu MIME của tập tin sử dụng python-magic. Nếu bạn lấy lại nội dung nào đó trong không gian tên "text/*", đó có thể là tệp văn bản, trong khi bất kỳ điều gì khác có thể là binary file.