Làm thế nào tôi có thể tránh được OutOfMemoryErrors khi sử dụng FileFileItem của Commons FileUpload để tải lên các tệp lớn?

Question

Tôi nhận được OutOfMemoryErrors khi tải các tệp lớn (> 300MB) lên một servlet sử dụng Commons FileUpload 1.2.1. Nó có vẻ kỳ lạ, bởi vì toàn bộ các điểm của việc sử dụng DiskFileItem là để ngăn chặn (có thể lớn) tập tin từ cư trú trong bộ nhớ. Tôi đang sử dụng kích thước mặc định là ngưỡng 10KB, vì vậy, đó là tất cả những gì nên được tải vào heap , đúng không? Đây là dấu vết ngăn xếp từng phần:

java.lang.OutOfMemoryError 
     at java.io.FileInputStream.readBytes(Native Method) 
     at java.io.FileInputStream.read(FileInputStream.java:177) 
     at org.apache.commons.fileupload.disk.DiskFileItem.get(DiskFileItem.java:334) 
     at org.springframework.web.multipart.commons.CommonsMultipartFile.getBytes(CommonsMultipartFile.java:114) 

Tại sao điều này lại xảy ra? Có một số cấu hình tôi đang thiếu? Bất kỳ mẹo/thủ thuật nào để tránh tình huống này bên cạnh việc tăng kích thước heap của tôi?

Tôi thực sự không cần phải tăng heap của tôi, bởi vì trong lý thuyết nhất mà nên được nạp vào bộ nhớ từ hoạt động này là một ít hơn 10KB. Plus, tối đa heap của tôi (-Xmx) đã được thiết lập cho 1GB mà nên được rất nhiều.

Answer 1

Khi xử lý tệp tải lên, đặc biệt là tệp lớn, bạn nên xử lý các tệp đó dưới dạng luồng mà bạn đã đưa vào bộ đệm trong bộ nhớ kích thước trung bình và sao chép trực tiếp vào tệp đầu ra của bạn. Cách sai lầm để làm điều đó là hít toàn bộ thứ vào bộ nhớ trước khi viết nó ra.

The doc on commons-upload đề cập, ngay dưới chính giữa, cách "Xử lý tải tệp lên". Nếu bạn nhớ sao chép từ inputstream đến outputstream trong các khối có kích thước hợp lý (nói, 1 MB), bạn sẽ không có vấn đề gì.

Answer 2

Trong khi câu trả lời Carl Smotricz có lẽ là tốt hơn trong trường hợp tổng quát, ngoại trừ bạn nhận được là một lỗi JVM được báo cáo ở đây:

http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=6478546