Cách chuyển đổi chuỗi thành utf-8 bằng Python

Question

Tôi có một trình duyệt gửi các ký tự utf-8 đến máy chủ Python của tôi, nhưng khi tôi lấy nó từ chuỗi truy vấn, mã hóa mà Python trả về là ASCII. Làm thế nào tôi có thể chuyển đổi chuỗi đơn giản thành utf-8?

LƯU Ý: Chuỗi được chuyển từ web đã được mã hóa UTF-8, tôi chỉ muốn làm cho Python coi nó là UTF-8 chứ không phải ASCII.

Answer 1

>>> plain_string = "Hi!" 
>>> unicode_string = u"Hi!" 
>>> type(plain_string), type(unicode_string) 
(<type 'str'>, <type 'unicode'>) 

^Đây là sự khác biệt giữa chuỗi byte (plain_string) và chuỗi unicode.

>>> s = "Hello!" 
>>> u = unicode(s, "utf-8") 

^Chuyển đổi thành unicode và chỉ định mã hóa.

Answer 2

Nếu tôi hiểu chính xác bạn, bạn có chuỗi byte được mã hóa utf-8 trong mã của mình.

Chuyển đổi chuỗi byte thành chuỗi unicode được gọi là giải mã (unicode -> byte-string được mã hóa).

Bạn làm điều đó bằng cách sử dụng hàm unicode hoặc phương pháp decode. Hoặc:

unicodestr = unicode(bytestr, encoding) 
unicodestr = unicode(bytestr, "utf-8") 

Hoặc:

unicodestr = bytestr.decode(encoding) 
unicodestr = bytestr.decode("utf-8") 

Answer 3

Nếu các phương pháp trên không hiệu quả, bạn cũng có thể nói với Python để bỏ qua các phần của một chuỗi mà nó không thể chuyển đổi sang utf-8:

stringnamehere.decode('utf-8', 'ignore') 

Answer 4

Thêm dòng sau vào phía trên cùng của tập tin py của bạn:

# -*- coding: utf-8 -*- 

cho phép bạn mã hóa chuỗi trực tiếp trong kịch bản của bạn, như thế này:

utfstr = "ボールト" 

Answer 5

Có thể là một chút quá mức cần thiết, nhưng khi tôi làm việc với ascii và unicode trong cùng một file, lặp đi lặp lại giải mã có thể là một nỗi đau, đây là những gì Tôi sử dụng:

def make_unicode(input): 
    if type(input) != unicode: 
     input = input.decode('utf-8') 
     return input 
    else: 
     return input 

Answer 6

Trong Python 3.6, chúng không có hàm unicode() tích hợp sẵn. Để chuyển đổi một chuỗi unicode, chỉ cần nhận được giá trị unicode của nhân vật, và làm điều này:

my_str = "\u221a25" 
my_str = u"{}".format(my_str) 
print(my_str) 
>>> √25 

Answer 7

city = 'Ribeir\xc3\xa3o Preto' 
print city.decode('cp1252').encode('utf-8') 

Answer 8

Dịch với ord() và unichar(). Mỗi char unicode có một số asociated, một cái gì đó giống như một chỉ mục. Vì vậy, Python có một vài phương pháp để dịch giữa một char và số của mình. Nhược điểm là một ví dụ. Hy vọng nó có thể giúp đỡ.

>>> C = 'ñ' 
>>> U = C.decode('utf8') 
>>> U 
u'\xf1' 
>>> ord(U) 
241 
>>> unichr(241) 
u'\xf1' 
>>> print unichr(241).encode('utf8') 
ñ