Xác định loại tệp nhị phân/văn bản trong Java?

Question

Cụ thể là, làm thế nào bạn sẽ nói một tệp lưu trữ (jar/rar/etc.) Từ một tệp văn bản (xml/txt, độc lập với mã hóa)?

Answer 1

Không có cách nào đảm bảo, nhưng dưới đây là một vài khả năng:

1) Tìm tiêu đề trên tệp. Thật không may, tiêu đề là tập tin cụ thể, do đó, trong khi bạn có thể tìm ra rằng đó là một tập tin RAR, bạn sẽ không nhận được câu trả lời chung chung hơn cho dù đó là văn bản hoặc nhị phân.

2) Đếm số ký tự so với các loại không phải ký tự. Các tệp văn bản sẽ chủ yếu là các ký tự chữ cái trong khi các tệp nhị phân - đặc biệt là các tệp nén như rar, zip và như vậy - sẽ có xu hướng có các byte được biểu diễn đồng đều hơn.

3) Tìm kiếm mẫu lặp lại thường xuyên của các dòng mới.

Answer 2

Bạn có thể thử công cụ DROID.

Answer 3

Xem http://en.wikipedia.org/wiki/Magic_number_(programming)

Answer 4

Nếu tập tin bao gồm các byte 0x09 (tab), 0x0A (feed line), 0x0c (mẫu thức ăn chăn nuôi), 0x0D (carriage return), hoặc 0x20 qua 0x7E, sau đó nó có thể là ASCII text .

Nếu tệp chứa bất kỳ ký tự điều khiển ASCII nào khác, 0x00 đến 0x1F không bao gồm ba ký tự ở trên, thì đó có thể là dữ liệu nhị phân.

Văn bản UTF-8 tuân theo một mẫu rất cụ thể cho bất kỳ byte nào có bit thứ tự cao, nhưng mã hóa có độ dài cố định như ISO-8859-1 thì không. UTF-16 thường có thể chứa byte rỗng (0x00), nhưng chỉ ở mọi vị trí khác.

Bạn sẽ cần một heuristic yếu hơn cho bất kỳ điều gì khác.

Answer 5

Hãy xem thư viện JMimeMagic.

jMimeMagic là thư viện Java dành cho xác định loại tệp MIME hoặc luồng.

Answer 6

Để cho bạn biết, tôi đã chọn một con đường hoàn toàn khác. Tôi trường hợp của tôi, chỉ có 2 loại tập tin, cơ hội mà bất kỳ tập tin nhất định sẽ là một nhị phân là cao. Vì vậy,

1. đoán rằng tập tin được nhị phân, cố gắng làm những gì là nghĩa vụ phải được thực hiện (ví dụ deserialize)
2. bắt ngoại lệ
3. điều trị tập tin như văn bản
4. nếu thất bại, cái gì là sai với tập tin bản thân

Answer 7

Chạy file -bi {filename}. Nếu bất cứ điều gì nó trả về bắt đầu bằng 'text /', thì nó không phải là nhị phân, nếu không nó sẽ là. ;-)

Answer 8

tôi đã sử dụng đoạn mã này và nó hoạt động cho tiếng Anh và văn bản tiếng Đức khá tốt:

private boolean isTextFile(String filePath) throws Exception { 
    File f = new File(filePath); 
    if(!f.exists()) 
     return false; 
    FileInputStream in = new FileInputStream(f); 
    int size = in.available(); 
    if(size > 1000) 
     size = 1000; 
    byte[] data = new byte[size]; 
    in.read(data); 
    in.close(); 
    String s = new String(data, "ISO-8859-1"); 
    String s2 = s.replaceAll(
      "[a-zA-Z0-9ßöäü\\.\\*!\"§\\$\\%&/()=\\?@~'#:,;\\"+ 
      "+><\\|\\[\\]\\{\\}\\^°²³\\\\ \\n\\r\\t_\\-`´âêîô"+ 
      "ÂÊÔÎáéíóàèìòÁÉÍÓÀÈÌÒ©‰¢£¥€±¿»«¼½¾™ª]", ""); 
    // will delete all text signs 

    double d = (double)(s.length() - s2.length())/(double)(s.length()); 
    // percentage of text signs in the text 
    return d > 0.95; 
} 

Answer 9

tôi làm thế này. Một chút đơn giản hơn, nhưng đối với các ngôn ngữ dựa trên tiếng Latinh, nó sẽ hoạt động tốt, với điều chỉnh tỷ lệ.

/** 
* Guess whether given file is binary. Just checks for anything under 0x09. 
*/ 
public static boolean isBinaryFile(File f) throws FileNotFoundException, IOException { 
    FileInputStream in = new FileInputStream(f); 
    int size = in.available(); 
    if(size > 1024) size = 1024; 
    byte[] data = new byte[size]; 
    in.read(data); 
    in.close(); 

    int ascii = 0; 
    int other = 0; 

    for(int i = 0; i < data.length; i++) { 
     byte b = data[i]; 
     if(b < 0x09) return true; 

     if(b == 0x09 || b == 0x0A || b == 0x0C || b == 0x0D) ascii++; 
     else if(b >= 0x20 && b <= 0x7E) ascii++; 
     else other++; 
    } 

    if(other == 0) return false; 

    return 100 * other/(ascii + other) > 95; 
} 

Answer 10

Sử dụng Java 7 tập tin lớp http://docs.oracle.com/javase/7/docs/api/java/nio/file/Files.html#probeContentType(java.nio.file.Path)

boolean isBinaryFile(File f) throws IOException { 
     String type = Files.probeContentType(f.toPath()); 
     if (type == null) { 
      //type couldn't be determined, assume binary 
      return true; 
     } else if (type.startsWith("text")) { 
      return false; 
     } else { 
      //type isn't text 
      return true; 
     } 
    }