InputStreamReader buffer issue

Question

Tôi đang đọc dữ liệu từ một tệp có, thật không may, hai loại mã hóa ký tự.

Có tiêu đề và nội dung. Tiêu đề luôn ở dạng ASCII và xác định bộ ký tự mà nội dung được mã hóa.

Tiêu đề không có độ dài cố định và phải được chạy qua trình phân tích cú pháp để xác định nội dung/độ dài của nó.

Tệp cũng có thể khá lớn nên tôi cần tránh đưa toàn bộ nội dung vào bộ nhớ.

Vì vậy, tôi bắt đầu với một InputStream duy nhất. Tôi quấn nó ban đầu với một InputStreamReader với ASCII và giải mã tiêu đề và trích xuất các ký tự đặt cho cơ thể. Tất cả đều tốt.

Sau đó, tôi tạo một InputStreamReader mới với bộ ký tự chính xác, thả nó trên cùng một InputStream và bắt đầu cố gắng đọc nội dung.

Thật không may là nó xuất hiện, javadoc xác nhận điều này, InputStreamReader có thể chọn đọc trước cho các mục đích hiệu quả. Vì vậy, việc đọc tiêu đề nhai một số/tất cả của cơ thể.

Có ai có bất kỳ đề xuất nào để giải quyết vấn đề này không? Có thể tạo CharsetDecoder theo cách thủ công và nạp vào một byte tại một thời điểm hay không nhưng ý tưởng hay (có thể được bao bọc trong triển khai Reader tùy chỉnh?)

Xin cảm ơn trước.

EDIT: Giải pháp cuối cùng của tôi là viết InputStreamReader không có bộ đệm để đảm bảo tôi có thể phân tích cú pháp tiêu đề mà không cần nhai một phần cơ thể. Mặc dù đây không phải là một cách hiệu quả khủng khiếp nhưng tôi đưa InputStream nguyên bản vào một BufferedInputStream để nó không phải là một vấn đề.

// An InputStreamReader that only consumes as many bytes as is necessary 
// It does not do any read-ahead. 
public class InputStreamReaderUnbuffered extends Reader 
{ 
    private final CharsetDecoder charsetDecoder; 
    private final InputStream inputStream; 
    private final ByteBuffer byteBuffer = ByteBuffer.allocate(1); 

    public InputStreamReaderUnbuffered(InputStream inputStream, Charset charset) 
    { 
     this.inputStream = inputStream; 
     charsetDecoder = charset.newDecoder(); 
    } 

    @Override 
    public int read() throws IOException 
    { 
     boolean middleOfReading = false; 

     while (true) 
     { 
      int b = inputStream.read(); 

      if (b == -1) 
      { 
       if (middleOfReading) 
        throw new IOException("Unexpected end of stream, byte truncated"); 

       return -1; 
      } 

      byteBuffer.clear(); 
      byteBuffer.put((byte)b); 
      byteBuffer.flip(); 

      CharBuffer charBuffer = charsetDecoder.decode(byteBuffer); 

      // although this is theoretically possible this would violate the unbuffered nature 
      // of this class so we throw an exception 
      if (charBuffer.length() > 1) 
       throw new IOException("Decoded multiple characters from one byte!"); 

      if (charBuffer.length() == 1) 
       return charBuffer.get(); 

      middleOfReading = true; 
     } 
    } 

    public int read(char[] cbuf, int off, int len) throws IOException 
    { 
     for (int i = 0; i < len; i++) 
     { 
      int ch = read(); 

      if (ch == -1) 
       return i == 0 ? -1 : i; 

      cbuf[ i ] = (char)ch; 
     } 

     return len; 
    } 

    public void close() throws IOException 
    { 
     inputStream.close(); 
    } 
} 

Answer 1

Tại sao bạn không sử dụng 2 InputStream? Một để đọc tiêu đề và phần đầu khác cho phần thân.

Thứ hai InputStream nên skip byte tiêu đề.

Answer 2

Suy nghĩ đầu tiên của tôi là đóng luồng và mở lại luồng bằng cách sử dụng InputStream#skip để bỏ qua tiêu đề trước khi cung cấp luồng mới InputStreamReader.

Nếu bạn thực sự không muốn mở lại tệp, bạn có thể sử dụng file descriptors để nhận nhiều luồng vào tệp, mặc dù bạn có thể phải sử dụng channels để có nhiều vị trí trong tệp (vì bạn có thể Giả sử bạn có thể đặt lại vị trí với reset, nó có thể không được hỗ trợ).

Answer 3

Tôi khuyên bạn nên đọc lại luồng ngay từ đầu bằng một InputStreamReader mới. Có lẽ giả định rằng InputStream.mark được hỗ trợ.

Answer 4

Đây là mã giả.

1. Sử dụng InputStream, nhưng không quấn Reader xung quanh.
2. Đọc các byte chứa tiêu đề và lưu trữ chúng vào ByteArrayOutputStream.
3. Tạo ByteArrayInputStream từ ByteArrayOutputStream và giải mã tiêu đề, lần này quấn ByteArrayInputStream vào Reader với ASCII charset.
4. Tính toán độ dài đầu vào không ascii và đọc số byte đó vào một số khác ByteArrayOutputStream.
5. Tạo ByteArrayInputStream khác từ thứ hai ByteArrayOutputStream và quấn nó với Reader với charset từ tiêu đề.

Answer 5

Nó thậm chí còn dễ dàng hơn:

Như bạn nói, tiêu đề của bạn luôn ở trong ASCII. Vì vậy, đọc các tiêu đề trực tiếp từ InputStream, và khi bạn đang thực hiện với nó, tạo Reader với mã hóa chính xác và đọc từ nó

private Reader reader; 
private InputStream stream; 

public void read() { 
    int c = 0; 
    while ((c = stream.read()) != -1) { 
     // Read encoding 
     if (headerFullyRead) { 
      reader = new InputStreamReader(stream, encoding); 
      break; 
     } 
    } 
    while ((c = reader.read()) != -1) { 
     // Handle rest of file 
    } 
} 

Answer 6

Nếu bạn quấn InputStream và hạn chế tất cả các lần đọc chỉ 1 byte tại một thời gian, dường như vô hiệu hóa bộ đệm bên trong InputStreamReader.

Bằng cách này, chúng tôi không phải viết lại logic InputStreamReader.

public class OneByteReadInputStream extends InputStream 
{ 
    private final InputStream inputStream; 

    public OneByteReadInputStream(InputStream inputStream) 
    { 
     this.inputStream = inputStream; 
    } 

    @Override 
    public int read() throws IOException 
    { 
     return inputStream.read(); 
    } 

    @Override 
    public int read(byte[] b, int off, int len) throws IOException 
    { 
     return super.read(b, off, 1); 
    } 
} 

Để xây dựng:

new InputStreamReader(new OneByteReadInputStream(inputStream));