Java, lớp nhanh nhất để đọc từ một tệp txt

Question

Tôi phải đọc tệp txt trong chương trình của mình. Hiện tại tôi đang sử dụng FileReader và BufferedReader. Tôi đã cố gắng sử dụng Scanner nhưng chậm hơn FileReader và BufferedReader. Có lớp nào có thể đọc tệp nhanh hơn không? Nó phải được viết bằng ngôn ngữ Java.

tôi cần phải đọc tất cả các từ (dây tách ra bởi khoảng trắng) từ tập tin văn bản

Answer 1

Nếu các tệp được đọc là rất lớn thì bạn sẽ muốn sử dụng BufferedReader trên đầu trang của FileReader để cải thiện hiệu suất đọc.

hoặc bạn có thể thử một cái gì đó likethis: -

BufferedReader br = new BufferedReader(new FileReader("file.txt")); 
try { 
    StringBuilder sb = new StringBuilder(); 
    String line = br.readLine(); 

    while (line != null) { 
     sb.append(line); 
     sb.append("\n"); 
     line = br.readLine(); 
    } 
    String everything = sb.toString(); 
    } finally { 
    br.close(); 
} 

hoặc bạn có thể thử chương trình này. Nó hoạt động nhanh hơn cho các tệp lớn hơn: -

public String readDoc(File f) { 
String text = ""; 
int read, N = 1024 * 1024; 
char[] buffer = new char[N]; 

try { 
    FileReader fr = new FileReader(f); 
    BufferedReader br = new BufferedReader(fr); 

    while(true) { 
     read = br.read(buffer, 0, N); 
     text += new String(buffer, 0, read); 

     if(read < N) { 
      break; 
     } 
    } 
} catch(Exception ex) { 
    ex.printStackTrace(); 
} 

return text; 
} 

Answer 2

Giả sử bạn đọc tất cả các tập tin trong bộ nhớ, nhanh nhất, từ một văn bản quan điểm mã, là:

List<String> lines = Files.readAllLines(yourFile, charset); 

Tôi mong đợi hiệu suất, từ quan điểm thực hiện, để được tốt nếu không tốt hơn (điều này được cho là được tối ưu hóa bởi nhóm đã viết nó).

Sau đó, bạn có thể chia nhỏ hoặc làm bất cứ điều gì bạn cần.

Answer 3

Tốc độ đọc và tách là 85 MB/sec. Tôi đã sử dụng tệp 560 MB với 20 cột trong mỗi dòng. Đây là mã:

package csvreader_speedtest; 

import java.io.*; 

public class Csvreader_SpeedTest { 

    final char delimiter = ','; 
    String[] splitted = new String[64]; 

    Csvreader_SpeedTest(String filename) throws Throwable { 
     File file = new File(filename); 
     BufferedReader reader = new BufferedReader(new FileReader(file)); 
     String line; 
     long t0 = System.currentTimeMillis(); 
     while ((line = reader.readLine()) != null) { 
      split(line); 
     } 
     long t1 = System.currentTimeMillis(); 
     reader.close(); 
     System.out.println("read " + file.length() + " bytes in " + (t1 - t0) + " ms"); 
    } 

    private void split(String line) { 
     int idxComma, idxToken = 0, fromIndex = 0; 
     while ((idxComma = line.indexOf(delimiter, fromIndex)) != -1) { 
      splitted[idxToken++] = line.substring(fromIndex, idxComma); 
      fromIndex = idxComma + 1; 
     } 
     splitted[idxToken] = line.substring(fromIndex); 
    } 
} 

đầu ra:

read 561362951 bytes in 6575 ms 

update: nếu tôi sử dụng splitted = line.split(","); thay vì split(line);, tốc độ giảm xuống 32 MB/sec cập nhật 2: mà không cần tách, các tốc độ là 194 MB/sec. Bạn cần nó nhanh đến mức nào?

Answer 4

Nếu tệp của bạn lớn Files.readAllLines sẽ không hoạt động. Nhưng nếu bạn vẫn muốn thử NIO thật dễ dàng:

FileInputStream fis = new FileInputStream("test.txt"); 
Reader rdr = Channels.newReader(fis.getChannel(), "UTF-8"); 
BufferedReader br = new BufferedReader(rdr); 
...