Không thể in ký tự '\ u2019' bằng Python từ đối tượng JSON

Question

Là dự án giúp tôi tìm hiểu Python, tôi đang tạo một trình xem CMD của Reddit bằng cách sử dụng dữ liệu json (ví dụ: www.reddit.com/all/ .json). Khi một số bài đăng hiển thị và tôi cố gắng in chúng (đó là những gì tôi giả định là gây ra lỗi), tôi nhận được lỗi này:

Traceback (cuộc gọi gần đây nhất): Tệp "C: \ Users \ nsaba \ Desktop \ reddit_viewer.py ", dòng 33, in in ("% d. (% d)% s \ n "% (i + 1, obj ['dữ liệu'] ['điểm'], obj ['dữ liệu'] [ 'title']))

file "C: \ Python33 \ lib \ mã hóa \ cp437.py", dòng 19, trong mã hóa trở codecs.charmap_encode (đầu vào, self.errors, encoding_map) [0] UnicodeEncodeError: codec 'charmap' không thể mã hóa ký tự '\ u2019' ở vị trí 32: bản đồ ký tự thành

Đây là nơi tôi xử lý các dữ liệu:

request = urllib.request.urlopen(url) 
content = request.read().decode('utf-8') 
jstuff = json.loads(content) 

Dòng Tôi sử dụng để in các dữ liệu được liệt kê trong các lỗi trên:

print ("%d. (%d) %s\n" % (i+1, obj['data']['score'], obj['data']['title'])) 

bất cứ ai có thể đề xuất, nơi tôi có thể đi sai?

Answer 1

Đó là gần như chắc chắn rằng bạn có vấn đề không có gì để làm với mã bạn đã thể hiện, và có thể được sao chép trong một dòng:

print(u'\2019') 

Nếu bộ ký tự của thiết bị đầu cuối của bạn không thể xử lý U + 2019 (hoặc nếu Python bị nhầm lẫn về những gì ký tự đặt thiết bị đầu cuối của bạn sử dụng), không có cách nào để in nó ra. Nó không quan trọng cho dù nó đến từ JSON hay bất cứ nơi nào khác.

Thiết bị đầu cuối Windows (aka "DOS prompt" hoặc "cmd window") thường được định cấu hình cho một bộ ký tự như cp1252 chỉ biết về 256 trong số 110000 ký tự và không có gì Python có thể thực hiện việc này mà không có thay đổi lớn để triển khai ngôn ngữ. *

Xem PrintFails trên Python Wiki để biết chi tiết, giải pháp và liên kết đến thông tin khác. Ngoài ra còn có một vài trăm dups của vấn đề này trên SO (mặc dù nhiều người trong số họ sẽ được cụ thể cho Python 2.x, mà không đề cập đến nó).

---

* Windows có một bộ toàn bộ riêng biệt của các API để in UTF-16 để các thiết bị đầu cuối, vì vậy Python có thể phát hiện stdout đó là một thiết bị đầu cuối Windows, và nếu như vậy mã hóa sang UTF-16 và sử dụng các API đặc biệt thay vì mã hóa vào bộ ký tự của thiết bị đầu cuối và sử dụng bộ mã chuẩn. Nhưng điều này làm nảy sinh nhiều vấn đề khác nhau (ví dụ: các cách in khác nhau để stdout không đồng bộ). Đã có cuộc thảo luận về việc thực hiện những thay đổi này, nhưng ngay cả khi tất cả mọi người đã đồng ý và bản vá được viết vào ngày mai, nó vẫn sẽ không giúp bạn cho đến khi bạn nâng cấp lên bất kỳ phiên bản Python tương lai nào được thêm vào…

Answer 2

Tôi đặt IDLE (Python Shell) và phông chữ mặc định CMD của Window tới Bảng điều khiển Lucida (phông chữ được hỗ trợ utf-8) và các loại lỗi này đã biến mất; và bạn không còn thấy hộp [] [] [] [] [] [] [] []

:)

Answer 3

@ N-Saba, những gì là chuỗi gây ra lỗi được ném? Trong trường hợp thử nghiệm của tôi, đây có vẻ là một lỗi phiên bản cụ thể trong python 2.7.3.

Trong thức ăn tôi đã phân tích, những "danh hiệu" lĩnh vực có giá trị sau:

u'title': u'Intel\u2019s Sharp-Eyed Social Scientist' 

tôi nhận được dự kiến ​​ngay trích dẫn đơn char khi tôi gọi một trong những, trong python 2.7.6 .

python -c "print {u'title': u'Intel\u2019s Sharp-Eyed Social Scientist'}['title']" 
Intel’s Sharp-Eyed Social Scientist 

Trong 2.7.3, tôi nhận được lỗi, trừ khi tôi mã hóa các giá trị mà tôi kéo bởi KeyName.

print {u'title': u'Intel\u2019s Sharp-Eyed Social Scientist'}['title'] 
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 5: ordinal not in range(128) 
print {u'title': u'Intel\u2019s Sharp-Eyed Social Scientist'}['title'].encode('utf-8', 'replace') 
Intel’s Sharp-Eyed Social Scientist 

fwiw, @abamert lệnh in ('\ u2019') in "9". Tôi nghĩ rằng mã dự kiến ​​đã được in (u '\ u2019').

Answer 4

Tôi gặp phải lỗi tương tự khi cố gắng viết đầu ra JSON API vào tệp .cav qua pd.DataFrame.to_csv() trên cài đặt Win của Python 2.7.14.

Xác định mã hóa như utf-8 cố định quá trình của tôi:

pd.DataFrame.to_csv(filename, encoding='utf-8') 

Answer 5

Đối với bất cứ ai gặp phải này trong hệ điều hành MacOS, câu trả lời @ abarnert là chính xác và tôi đã có thể sửa chữa nó bằng cách đặt này ở phía trên cùng của tập tin nguồn vi phạm : -

# magic to make everything work in Unicode 
import sys 
reload(sys) 
sys.setdefaultencoding('utf-8') 

Để làm rõ, điều này đảm bảo đầu ra đầu cuối chấp nhận Unicode chính xác.