Phản hồi được mã hóa http.get và ISO-8859-1

Question

Tôi sắp viết trình tìm nạp nguồn cấp dữ liệu RSS và bị kẹt với một số vấn đề về ký tự.

Tải và phân tích cú pháp nguồn cấp dữ liệu khá dễ dàng so với mã hóa. Tôi đang tải nguồn cấp dữ liệu với http.get và tôi đang đặt các khối với nhau trên mọi sự kiện dữ liệu. Sau đó tôi phân tích cú pháp toàn bộ chuỗi bằng npm-lib feedparser hoạt động tốt với chuỗi đã cho.

Rất tiếc, tôi đã quen với các chức năng như utf8_encode() trong php và tôi thiếu chúng trong node.js vì vậy tôi bị kẹt với việc sử dụng Iconv hiện không làm những gì tôi muốn.

Nếu không mã hóa có một số utf8 -icons cho charset sai, với iconv, chuỗi được phân tách sai:/

Hiện nay tôi đang mã hóa tất cả các chuỗi seperatedly:

//var encoding ≈ ISO-8859-1 etc. (Is the right one, checked with docs etc.) 
// Shortend version 

var iconv = new Iconv(encoding, 'UTF-8'); 

parser.on('article', function(article){ 
    var object = { 
     title : iconv.convert(article.title).toString('UTF-8'), 
     description : iconv.convert(article.summary).toString('UTF-8') 
    } 
    Articles.push(object); 
}); 

Tôi nên bắt đầu mã hóa với bộ đệm dữ liệu hoặc sau đó với chuỗi hoàn chỉnh?

Cảm ơn bạn!

PS: Encoding được xác định với phân tích cú pháp người đứng đầu xml

Làm thế nào về một module mà làm cho mã hóa trong Node.js dễ dàng hơn?

Answer 1

Có thể bạn đang gặp phải sự cố tương tự được mô tả trên https://groups.google.com/group/nodejs/browse_thread/thread/b2603afa31aada9c.

Giải pháp có vẻ là đặt mã hóa phản hồi thành nhị phân trước khi xử lý Bộ đệm với Iconv.

Các bit có liên quan là

bộ response.setEncoding ('nhị phân') và tổng hợp các khối vào một bộ đệm trước khi gọi Iconv.convert(). Lưu ý rằng mã hóa = nhị phân có nghĩa là dữ liệu của bạn gọi lại sẽ nhận được các đối tượng đệm, không phải chuỗi.

---

Cập nhật: này đã phản ứng ban đầu của tôi

Bạn có chắc chắn rằng các thức ăn bạn đang nhận đã được mã hóa một cách chính xác?

Tôi có thể thấy hai lỗi có thể:

1. thức ăn đã được gửi đi với dữ liệu Latin-1-mã hóa, nhưng với một Content-Type mà các tiểu bang charset=UTF-8.
2. nguồn cấp dữ liệu đang được gửi với dữ liệu được mã hóa UTF-8 nhưng tiêu đề Content-Type không nêu rõ bất kỳ điều gì, mặc định là ASCII.

Bạn nên kiểm tra nội dung của nguồn cấp dữ liệu của mình và các tiêu đề đã gửi với một số tiện ích như Wireshark hoặc cURL.

Answer 2

Tôi nghĩ rằng vấn đề có thể là do cách bạn lưu trữ dữ liệu trước khi bạn chuyển nó đến feedparser.Thật khó để nói mà không thấy trình xử lý sự kiện dữ liệu của bạn, nhưng tôi sẽ đoán rằng bạn đang làm điều gì đó như sau:

values = ''; 
stream.on('data', function(chunk){ 
    values += chunk; 
}); 

Đúng không?

Vấn đề là trong trường hợp này, đoạn là bộ đệm và bằng cách sử dụng '+' để nối tất cả lại với nhau, bạn ngầm chuyển đổi bộ đệm thành chuỗi.

Nhìn sâu hơn vào đó, bạn thực sự đang thực hiện chuyển đổi iconv trên toàn bộ nguồn cấp dữ liệu, trước khi chạy nó thông qua feedparser, bởi vì feedparser có thể không biết các mã hóa khác.

Hãy thử một cái gì đó như thế này:

var iconv = new Iconv('ISO-8859-1', 'UTF8'); 
var chunks = []; 
var totallength = 0; 
stream.on('data', function(chunk) { 
    chunks.push(chunk); 
    totallength += chunk.length; 
}); 
stream.on('end', function() { 
    var results = new Buffer(totallength); 
    var pos = 0; 
    for (var i = 0; i < chunks.length; i++) { 
    chunks[i].copy(results, pos); 
    pos += chunks[i].length; 
    } 
    var converted = iconv.convert(results); 
    parser.parseString(converted.toString('utf8')); 
});