Unicode Regex; Không hợp lệ ký tự XML

Question

Danh sách các nhân vật XML hợp lệ cũng được biết, theo quy định của spec nó:

#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF] 

Câu hỏi của tôi là có hay không nó có thể làm cho một biểu thức chính quy PCRE cho điều này (hoặc nghịch đảo của nó) mà không thực sự mã hóa cứng các codepoints, bằng cách sử dụng các danh mục chung Unicode. Một nghịch đảo có thể là một cái gì đó giống như [\ p {Cc} \ p {Cs} \ p {Cn}], ngoại trừ việc không đúng cách bao gồm các dòng và tab và bỏ sót một số ký tự không hợp lệ khác.

Answer 1

Đối với hệ thống lưu trữ nội bộ các điểm mã trong UTF-16, việc sử dụng cặp thay thế (xD800-xDFFF) cho điểm mã trên 0xFFFF và trong các hệ thống đó bạn phải xác minh xem bạn có thực sự sử dụng ví dụ \ u12345 hay không như một cặp thay thế. (Tôi vừa phát hiện ra rằng trong C# bạn có thể sử dụng \u1234 (16 bit) and \U000(32-bit))

Theo đề xuất của W3C không cho phép các ký tự thay thế bên trong tên phần tử hoặc thuộc tính. " Trong khi tìm kiếm trang web của W3 tôi tìm thấy C079 và C078 mà có thể bạn quan tâm.

Answer 2

Tôi biết điều này là không chính xác câu trả lời cho câu hỏi của bạn, nhưng nó rất hữu ích để có nó ở đây:

Regular Expression để phù hợp với hợp lệ Nhân vật XML:

[\u0009\u000a\u000d\u0020-\uD7FF\uE000-\uFFFD] 

Vì vậy, để loại bỏ không hợp lệ ký tự từ XML, bạn sẽ làm điều gì đó như

// filters control characters but allows only properly-formed surrogate sequences 
private static Regex _invalidXMLChars = new Regex(
    @"(?<![\uD800-\uDBFF])[\uDC00-\uDFFF]|[\uD800-\uDBFF](?![\uDC00-\uDFFF])|[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F\uFEFF\uFFFE\uFFFF]", 
    RegexOptions.Compiled); 

/// <summary> 
/// removes any unusual unicode characters that can't be encoded into XML 
/// </summary> 
public static string RemoveInvalidXMLChars(string text) 
{ 
    if (string.IsNullOrEmpty(text)) return ""; 
    return _invalidXMLChars.Replace(text, ""); 
} 

Tôi đã có của chúng tôi thường trú regex/XML thiên tài, he of the 4,400+ upvoted post, kiểm tra này, và ông đã ký tắt trên đó.

Answer 3

tôi đã cố gắng này trong java và nó hoạt động:

private String filterContent(String content) { 
    return content.replaceAll("[^\\u0009\\u000a\\u000d\\u0020-\\uD7FF\\uE000-\\uFFFD]", ""); 
} 

Cảm ơn bạn Jeff.

Answer 4

Các giải pháp trên không hiệu quả đối với tôi nếu mã hex có trong xml. ví dụ.

<element>&#x8;</element>

Đoạn mã dưới đây sẽ phá vỡ:

string xmlFormat = "<element>{0}</element>"; 
string invalid = " &#x8;"; 
string xml = string.Format(xmlFormat, invalid); 
xml = Regex.Replace(xml, @"[\x01-\x08\x0B\x0C\x0E\x0F\u0000-\u0008\u000B\u000C\u000E-\u001F]", ""); 
XDocument.Parse(xml); 

Nó trả về:

XmlException: '', thập lục phân giá trị 0x08, là một nhân vật không hợp lệ. Dòng 1, vị trí 14.

Sau đây là regex được cải thiện và khắc phục vấn đề nêu trên:

& #x ([0-8BCEFbcef] | 1 [0-9A-Pháp-f]); | [\ x01- \ x08 \ x0B \ x0C \ x0E \ x0F \ u0000- \ u0008 \ u000B \ u000C \ u000E- \ u001F]

Dưới đây là một thử nghiệm đơn vị cho 300 ký tự unicode đầu tiên và xác nhận rằng chỉ các ký tự không hợp lệ bị xóa:

[Fact] 
     public void validate_that_RemoveInvalidData_only_remove_all_invalid_data() 
     { 
      string xmlFormat = "<element>{0}</element>"; 
      string[] allAscii = (Enumerable.Range('\x1', 300).Select(x => ((char)x).ToString()).ToArray()); 
      string[] allAsciiInHexCode = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("X") + ";").ToArray()); 
      string[] allAsciiInHexCodeLoweCase = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("x") + ";").ToArray()); 

      bool hasParserError = false; 
      IXmlSanitizer sanitizer = new XmlSanitizer(); 

      foreach (var test in allAscii.Concat(allAsciiInHexCode).Concat(allAsciiInHexCodeLoweCase)) 
      { 
       bool shouldBeRemoved = false; 
       string xml = string.Format(xmlFormat, test); 
       try 
       { 
        XDocument.Parse(xml); 
        shouldBeRemoved = false; 
       } 
       catch (Exception e) 
       { 
        if (test != "<" && test != "&") //these char are taken care of automatically by my convertor so don't need to test. You might need to add these. 
        { 
         shouldBeRemoved = true; 
        } 
       } 
       int xmlCurrentLength = xml.Length; 
       int xmlLengthAfterSanitize = Regex.Replace(xml, @"&#x([0-8BCEF]|1[0-9A-F]);|[\u0000-\u0008\u000B\u000C\u000E-\u001F]", "").Length; 
       if ((shouldBeRemoved && xmlCurrentLength == xmlLengthAfterSanitize) //it wasn't properly Removed 
        ||(!shouldBeRemoved && xmlCurrentLength != xmlLengthAfterSanitize)) //it was removed but shouldn't have been 
       { 
        hasParserError = true; 
        Console.WriteLine(test + xml); 
       } 
      } 
      Assert.Equal(false, hasParserError); 
     } 

Answer 5

Một cách khác để loại bỏ ký tự XML không chính xác trong C# với việc sử dụng XmlConvert.IsXmlChar Method (sẵn từ .NET Framework 4,0)

public static string RemoveInvalidXmlChars(string content) 
{ 
    return new string(content.Where(ch => System.Xml.XmlConvert.IsXmlChar(ch)).ToArray()); 
} 

hoặc bạn có thể kiểm tra xem tất cả các nhân vật XML hợp lệ.

public static bool CheckValidXmlChars(string content) 
{ 
    return content.All(ch => System.Xml.XmlConvert.IsXmlChar(ch)); 
} 

Net Fiddle - https://dotnetfiddle.net/v1TNus

Ví dụ, biểu tượng tab dọc (\ v) là không hợp lệ cho XML, nó có giá trị UTF-8, nhưng XML không hợp lệ 1.0, và thậm chí nhiều thư viện (bao gồm libxml2) bỏ lỡ nó và âm thầm xuất XML không hợp lệ.