Biểu diễn nội bộ của chuỗi trong Python 3.x

Question

Trong Python 3.x, một chuỗi bao gồm các mục Unicode thứ tự. (Xem báo giá từ tham chiếu ngôn ngữ bên dưới.) Biểu diễn bên trong của chuỗi Unicode là gì? Có phải là UTF-16 không?

Các mục của đối tượng chuỗi là Đơn vị mã Unicode. Mã Unicode đơn vị được biểu thị bằng một đối tượng chuỗi của một mục và có thể giữ giá trị 16 bit hoặc 32 bit đại diện cho một số Unicode (giá trị tối đa cho thứ tự được đưa ra trong sys.maxunicode, và phụ thuộc vào cách Python được định cấu hình tại thời gian biên dịch). Cặp thay thế có thể có mặt trong đối tượng Unicode và sẽ được báo cáo dưới dạng hai mục riêng biệt.

Answer 1

Đã có không có thay đổi trong biểu diễn nội bộ Unicode giữa Python 2.X và 3.X.

Đó chắc chắn KHÔNG phải là UTF-16. UTF-bất cứ điều gì là một đại diện bên ngoài theo định hướng byte.

Mỗi đơn vị mã (ký tự, thay thế, vv) đã được gán một số từ phạm vi (0, 2 ** 21). Điều này được gọi là "thứ tự" của nó.

Thực sự, tài liệu bạn trích dẫn đã nói lên tất cả. Hầu hết các mã nhị phân Python sử dụng các bit 16-bit, giới hạn bạn với Basic Multilingual Plane ("BMP") trừ khi bạn muốn muck về với người thay thế (tiện dụng nếu bạn không thể tìm thấy áo sơ mi tóc của bạn và giường của bạn là tắt rỉ sét). Để làm việc với các tiết mục Unicode đầy đủ, bạn muốn có một "xây dựng rộng" (rộng 32 bit).

Tóm lại, biểu diễn bên trong trong đối tượng unicode là một mảng các số nguyên không dấu 16 bit hoặc một mảng các số nguyên không dấu 32 bit (chỉ sử dụng 21 bit).

Answer 2

Phụ thuộc: xem here. Điều này vẫn đúng đối với Python 3 đến khi biểu diễn nội bộ đi.

Answer 3

Tôi nghĩ, Thật khó để đánh giá sự khác biệt giữa UTF-16, mà chỉ là một chuỗi các từ 16 bit, đối tượng chuỗi của Python.

Và Nếu python được biên dịch với tùy chọn Unicode = UCS4, nó sẽ được so sánh giữa UTF-32 và chuỗi Python.

Vì vậy, hãy xem xét tốt hơn, chúng nằm trong danh mục khác nhau, mặc dù bạn có thể biến đổi lẫn nhau.

Answer 4

Nhìn vào mã nguồn cho CPython 3.1.5, trong Include/unicodeobject.h:

/* --- Unicode Type ------------------------------------------------------- */ 

typedef struct { 
    PyObject_HEAD 
    Py_ssize_t length;   /* Length of raw Unicode data in buffer */ 
    Py_UNICODE *str;   /* Raw Unicode buffer */ 
    long hash;     /* Hash value; -1 if not set */ 
    int state;     /* != 0 if interned. In this case the two 
           * references from the dictionary to this object 
           * are *not* counted in ob_refcnt. */ 
    PyObject *defenc;   /* (Default) Encoded version as Python 
            string, or NULL; this is used for 
            implementing the buffer protocol */ 
} PyUnicodeObject; 

Các nhân vật được lưu trữ như một mảng của Py_UNICODE. Trên hầu hết các nền tảng, tôi tin rằng Py_UNICODE là #define d là wchar_t.

Answer 5

Biểu diễn bên trong sẽ thay đổi trong Python 3.3 triển khai PEP 393. Đại diện mới sẽ chọn một hoặc một số ascii, latin-1, utf-8, utf-16, utf-32, thường cố gắng để có được một đại diện nhỏ gọn.

Chuyển đổi ngầm thành các cặp thay thế sẽ chỉ được thực hiện khi nói chuyện với API cũ (chỉ tồn tại trên cửa sổ, trong đó wchar_t là hai byte); chuỗi Python sẽ được giữ nguyên. Đây là số release notes.

Answer 6

Trong Python 3.3 trở lên, biểu diễn bên trong của chuỗi sẽ phụ thuộc vào chuỗi và có thể là bất kỳ ascii, latin-1, utf-8, utf-16, utf-32, như được ghi chú bởi Tobu và được mô tả trong PEP 393.

Đối với các Pythons trước đó, biểu diễn bên trong phụ thuộc vào cờ xây dựng của Python. Python có thể được xây dựng với các giá trị cờ --enable-unicode=ucs2 hoặc --enable-unicode=ucs4. ucs2 bản dựng thực tế là use UTF-16 as their internal representation và ucs4 xây dựng sử dụng UCS-4/UTF-32.