Làm thế nào để unquote một chuỗi unicode urlencoded trong python?

Question

Tôi có một chuỗi unicode như "Tanım" được mã hóa là "Tan% u0131m" bằng cách nào đó. Làm thế nào tôi có thể chuyển đổi chuỗi được mã hóa này trở về unicode gốc. Rõ ràng urllib.unquote không hỗ trợ unicode.

Answer 1

% uXXXX là một non-standard encoding scheme rằng đã bị từ chối bởi các w3c, mặc dù thực tế rằng một thực hiện tiếp tục sống mãi trong đất JavaScript.

Kỹ thuật phổ biến hơn dường như là UTF-8 mã hóa chuỗi và sau đó% thoát các byte kết quả bằng% XX. Đề án này được hỗ trợ bởi urllib.unquote:

>>> urllib2.unquote("%0a") 
'\n' 

Thật không may, nếu bạn thực sự cần để hỗ trợ% uXXXX, bạn có thể sẽ phải cuộn giải mã của riêng bạn. Nếu không, nó có khả năng được nhiều hơn nữa thích hợp hơn để chỉ đơn giản là UTF-8 mã hóa unicode của bạn và sau đó% thoát khỏi các byte kết quả.

Một ví dụ hoàn chỉnh hơn:

>>> u"Tanım" 
u'Tan\u0131m' 
>>> url = urllib.quote(u"Tanım".encode('utf8')) 
>>> urllib.unquote(url).decode('utf8') 
u'Tan\u0131m' 

Answer 2

def unquote(text): 
    def unicode_unquoter(match): 
     return unichr(int(match.group(1),16)) 
    return re.sub(r'%u([0-9a-fA-F]{4})',unicode_unquoter,text) 

Answer 3

này sẽ làm điều đó nếu bạn hoàn toàn phải có điều này (tôi thực sự đồng ý với tiếng kêu của "phi tiêu chuẩn"):

from urllib import unquote 

def unquote_u(source): 
    result = unquote(source) 
    if '%u' in result: 
     result = result.replace('%u','\\u').decode('unicode_escape') 
    return result 

print unquote_u('Tan%u0131m') 

> Tanım 

Answer 4

có một lỗi trong phiên bản ở trên, nơi nó freaks ra đôi khi có cả ascii mã hóa và unicode mã hóa ký tự trong chuỗi. Tôi nghĩ rằng nó đặc biệt khi có các ký tự từ phạm vi 128 trên như '\ xab' ngoài unicode.

ví dụ: "% 5B% AB% u03E1% BB% 5D" gây ra lỗi này.

tôi thấy nếu bạn chỉ làm những cái unicode đầu tiên, vấn đề ra đi:

def unquote_u(source): 
    result = source 
    if '%u' in result: 
    result = result.replace('%u','\\u').decode('unicode_escape') 
    result = unquote(result) 
    return result