Trả về các ký tự đầu tiên của một chuỗi unicode

Question

Tôi có một chuỗi trong unicode và tôi cần trả lại N ký tự đầu tiên. Tôi đang thực hiện việc này:

result = unistring[:5] 

nhưng tất nhiên là độ dài của chuỗi unicode! = Chiều dài ký tự. Bất kỳ ý tưởng nào? Giải pháp duy nhất là sử dụng lại?

Edit: Thông tin thêm

unistring = "Μεταλλικα" #Metallica written in Greek letters 
result = unistring[:1] 

returns->?

Tôi nghĩ rằng chuỗi unicode là hai byte (char), đó là lý do tại sao điều này xảy ra. Nếu tôi làm:

result = unistring[:2] 

tôi nhận được

M

đó là chính xác, Vì vậy, tôi phải luôn luôn cắt * 2 hay tôi nên chuyển đổi sang một cái gì đó?

Answer 1

Thật không may vì lý do lịch sử trước Python 3.0 có hai loại chuỗi. byte strings (str) and Unicode strings (unicode).

Trước khi hợp nhất trong Python 3.0 có hai cách để khai báo một chuỗi ký tự: unistring = "Μεταλλικα" là một chuỗi byte và unistring = u"Μεταλλικα" là một chuỗi unicode.

Lý do bạn thấy ? khi bạn làm result = unistring[:1] là do một số ký tự trong văn bản Unicode của bạn không thể được biểu diễn chính xác trong chuỗi không phải unicode. Bạn có thể đã thấy loại vấn đề này nếu bạn đã từng sử dụng một ứng dụng email thực sự cũ và nhận được email từ bạn bè ở các quốc gia như Hy Lạp chẳng hạn.

Vì vậy, trong Python 2.x nếu bạn cần xử lý Unicode, bạn phải làm điều đó một cách rõ ràng. Hãy xem phần giới thiệu này để xử lý Unicode bằng Python: Unicode HOWTO

Answer 2

Khi bạn nói:

unistring = "Μεταλλικα" #Metallica written in Greek letters 

Bạn không có một chuỗi unicode. Bạn có một bytestring trong (có lẽ) UTF-8. Đó không phải là điều tương tự. Một chuỗi unicode là một kiểu dữ liệu riêng biệt trong Python. Bạn nhận được unicode bằng cách giải mã bytestrings bằng cách sử dụng mã hóa đúng:

unistring = "Μεταλλικα".decode('utf-8') 

hoặc bằng unicode chữ trong một file nguồn với việc kê khai mã hóa ngay

# coding: UTF-8 
unistring = u"Μεταλλικα" 

Chuỗi unicode sẽ làm những gì bạn muốn khi bạn làm unistring[:5].

Answer 3

Không có cách tiếp cận thẳng về phía trước với bất kỳ loại "chuỗi Unicode" nào.

Ngay cả chuỗi Python "Unicode" UTF-16 có các ký tự có độ dài thay đổi, vì vậy, bạn không thể chỉ cắt bằng cách sử dụng [: 5]. Bởi vì một số điểm mã Unicode có thể sử dụng nhiều hơn thì một "ký tự" tức là cặp thay thế.

Vì vậy, nếu bạn muốn cắt 5 điểm mã (lưu ý đây không phải là nhân vật ), do đó bạn có thể phân tích các văn bản, xem http://en.wikipedia.org/wiki/UTF-8 và http://en.wikipedia.org/wiki/UTF-16 định nghĩa. Vì vậy, bạn cần phải sử dụng một số mặt nạ bit để tìm ra ranh giới.

Ngoài ra bạn vẫn không nhận được ký tự. Bởi vì ví dụ. Từ "שָלוֹם" - hòa bình trong tiếng Do Thái "Shalom" bao gồm 4 ký tự và 6 ký tự mã "shin", nguyên âm "a" letter "lamed", chữ "vav" và nguyên âm "o" và chữ cái cuối cùng "mem".

Vì vậy, ký tự không phải là điểm mã.

Tương tự đối với hầu hết các ngôn ngữ phương Tây trong đó một chữ cái có dấu phụ có thể được biểu diễn dưới dạng hai điểm mã. Tìm kiếm ví dụ cho "unicode normalization".

Vì vậy ... Nếu bạn thực sự cần 5 ký tự đầu tiên, bạn phải sử dụng các công cụ như thư viện ICU. Ví dụ, có thư viện ICU cho Python cung cấp các ký tự biên lặp ranh giới.