Sự cố UTF32 và C#

Question

Vì vậy, tôi gặp một số vấn đề với mã hóa ký tự. Khi tôi đặt hai nhân vật sau đây vào một UTF32 mã hóa tập tin văn bản:

鸕 

và sau đó chạy đoạn mã này vào chúng:

System.IO.StreamReader streamReader = 
    new System.IO.StreamReader("input", System.Text.Encoding.UTF32, false); 
System.IO.StreamWriter streamWriter = 
    new System.IO.StreamWriter("output", false, System.Text.Encoding.UTF32); 

streamWriter.Write(streamReader.ReadToEnd()); 

streamWriter.Close(); 
streamReader.Close(); 

tôi nhận được:

鸕 
鸕 

(cùng nhân vật hai lần, tức là tệp đầu vào! = đầu ra)

Một vài điều có thể hữu ích: Hex cho ký tự đầu tiên:

15 9E 02 00

Và cho phần thứ hai:

15 9E 00 00

Tôi đang sử dụng gedit để tạo ra tập tin văn bản, mono cho C# và tôi đang sử dụng Ubuntu.

Nó cũng không quan trọng nếu tôi chỉ định mã hóa cho tệp đầu vào hoặc đầu ra, nó chỉ không thích nó nếu nó trong mã hóa UTF32. Nó hoạt động nếu tập tin đầu vào được mã hóa UTF-8.

Các tập tin đầu vào là như sau:

FF FE 00 00 15 9E 02 00 0A 00 00 00 15 9E 00 00 0A 00 00 00

Có một lỗi, hoặc là nó chỉ cho tôi?

Cảm ơn!

Answer 1

K, vì vậy tôi đã tìm ra nó tôi nghĩ, có vẻ như nó hoạt động ngay bây giờ. Hóa ra, vì các mã cho các ký tự là 15 9E 02 00 và 15 9E 00 00, thì không có cách nào để chúng có thể được giữ trong một, một UTF-16 char. Vì vậy, thay vào đó, UTF16 sử dụng các cặp thay thế này, nơi có hai nhân vật khác nhau hoạt động như một 'nguyên tố'. Để nhận các yếu tố, chúng tôi có thể sử dụng:

StringInfo.GetTextElementEnumerator(string fred); 

và điều này trả về một chuỗi với cặp thay thế. Đối xử với nó như một nhân vật.

Xem ở đây:

http://msdn.microsoft.com/en-us/library/system.globalization.stringinfo.aspx

http://msdn.microsoft.com/en-us/library/system.globalization.textelementenumerator.gettextelement.aspx

Hy vọng nó sẽ giúp ai đó: D

Answer 2

Khi viết bạn không chỉ định UTF-32 để nó mặc định thành Mã hóa.UTF8.

Từ MSDN:

constructor này tạo ra một StreamWriter với mã UTF-8 mà không có một Byte-Order Mark (BOM), vì vậy phương pháp GetPreamble nó trả về một mảng byte rỗng . Để tạo một StreamWriter sử dụng mã hóa UTF-8 và một BOM, xem xét sử dụng một hàm tạo chỉ định mã hóa, chẳng hạn như StreamWriter (String, Boolean, Encoding).

Answer 3

Tôi nghĩ bạn cần phải chỉ định cùng một mã hóa (Encoding.UTF32) cũng cho số StreamWriter của mình.

EDIT:

Thông thường nó là không cần thiết giữa codepage UTF nhưng tôi cũng sẽ cố gắng này:

Encoding utf8 = Encoding.UTF8; 
Encoding utf32 = Enconding.UTF32; 
byte[] utf8Bytes = utf8.GetBytes(yourText); 
byte[] utf32Bytes = Encoding.Convert(utf8, utf32, utf8Bytes); 
string utf32Text = iso.GetString(utf32Text); 

Answer 4

tôi đã cố gắng này và nó hoạt động tốt trên máy tính của tôi.

System.IO.StreamReader streamReader = new System.IO.StreamReader("input", true); 
System.IO.StreamWriter streamWriter = new System.IO.StreamWriter("output", false); 

streamWriter.Write(streamReader.ReadToEnd()); 

streamWriter.Close(); 
streamReader.Close(); 

Có thể văn bản bạn nghĩ là UTF32 là không.

Answer 5

Từ phần chú thích của MSDN cho StreamReader's constructor:

constructor này khởi mã hóa theo quy định của các tham số mã hóa , và kích thước bộ đệm nội 1024 byte. Đối tượng StreamReader cố gắng phát hiện mã hóa bằng cách xem ba byte đầu tiên của luồng. Nó tự động nhận dạng UTF-8, Unicode nhỏ gọn và văn bản Unicode lớn cấp nếu tệp bắt đầu với các dấu thứ tự byte thích hợp. Nếu không, mã hóa do người dùng cung cấp được sử dụng. Xem phương thức Encoding.GetPreamble để biết thêm thông tin .

Rất có thể dấu thứ tự byte ở đầu tệp của bạn thực sự chỉ ra UTF 16 (hoặc cái gì đó) và do đó không sử dụng mã UTF 32 được chỉ định rõ ràng.