java: ghi các tệp lớn?

Question

Chúc mừng, Tôi nhận được số lượng lớn hồ sơ từ cơ sở dữ liệu và ghi vào một tệp. Tôi đã tự hỏi cách tốt nhất để viết các tệp lớn. (1Gb - 10Gb).

Hiện nay tôi đang sử dụng BufferedWriter

BufferedWriter mbrWriter=new BufferedWriter(new FileWriter(memberCSV)); 
while(done){ 
//do writings 
} 
mbrWriter.close(); 

Answer 1

Nếu bạn thực sự nhấn mạnh sử dụng Java cho điều này, thì cách tốt nhất là nên viết ngay càng sớm càng dữ liệu đi vào và do đó không thu tất cả dữ liệu từ ResultSet vào bộ nhớ của Java trước tiên. Bạn sẽ cần ít nhất là nhiều bộ nhớ trống trong Java nếu không.

Do đó, ví dụ:

while (resultSet.next()) { 
    writer.write(resultSet.getString("columnname")); 
    // ... 
} 

Điều đó nói rằng, các tàu DB phong nha nhất với khả năng xuất CSV đến được xây dựng chắc chắn hiệu quả hơn bao giờ hết trong Java. Bạn đã không đề cập đến cái nào bạn đang sử dụng, nhưng nếu nó là ví dụ MySQL, bạn có thể đã sử dụng LOAD DATA INFILE cho việc này. Chỉ cần tham khảo tài liệu DB cụ thể. Hy vọng điều này mang lại những hiểu biết mới.

Answer 2

Kích thước bộ đệm mặc định cho BufferedWriter là 8192. Nếu bạn định ghi các tệp squigabyte, bạn có thể muốn tăng điều này bằng cách sử dụng hàm tạo đối số 2; ví dụ.

int buffSize = ... // 1 megabyte or so 
BufferedWriter mbrWriter = new BufferedWriter(new FileWriter(memberCSV), buffSize); 

Điều này sẽ giảm số lượng syscalls cần thiết để ghi tệp.

Nhưng tôi nghi ngờ rằng điều này sẽ tạo ra nhiều hơn một vài phần trăm khác biệt. Việc kéo các hàng từ resultset có thể sẽ là nút cổ chai hiệu suất chính. Để cải thiện đáng kể hiệu suất, bạn cần phải sử dụng cơ sở xuất bản hàng loạt của cơ sở dữ liệu gốc.

Answer 3

Im không chắc chắn 100%, nhưng nó xuất hiện tha BufferedReader tải dữ liệu vào bộ đệm trong RAM. Java có thể sử dụng 128MB Ram (trừ khi có quy định khác), vì vậy BufferedReader có khả năng sẽ tràn bộ nhớ của java gây ra lỗi. Hãy thử sử dụng InputStreamReader và FileInputStream để đọc và sau đó lưu trữ dữ liệu trong một char, sau đó chỉ cần viết rằng char bằng cách sử dụng một FileOutputStream.