Làm cách nào để xác định độ dài byte của chuỗi được mã hóa utf-8 bằng Python?

Question

Tôi đang làm việc với tải lên S3 của Amazon và đang gặp sự cố với các tên khóa quá dài. S3 giới hạn chiều dài của khóa theo byte, chứ không phải ký tự.

Từ các tài liệu:

Tên cho một chìa khóa là một chuỗi các ký tự Unicode có mã UTF-8 là độ dài không quá 1024 byte.

Tôi cũng cố gắng nhúng siêu dữ liệu vào tên tệp, vì vậy tôi cần tính toán độ dài byte hiện tại của chuỗi bằng Python để đảm bảo siêu dữ liệu không tạo khóa quá dài (trong trường hợp này Tôi sẽ phải sử dụng một tệp siêu dữ liệu riêng biệt).

Làm cách nào để xác định độ dài byte của chuỗi được mã hóa utf-8? Một lần nữa, tôi không quan tâm đến chiều dài ký tự ... thay vì độ dài byte thực tế được sử dụng để lưu trữ chuỗi.

Answer 1

def utf8len(s): 
    return len(s.encode('utf-8')) 

trình tốt trong Python 2 và 3.

Answer 2

Sử dụng chuỗi 'mã hóa' phương pháp để chuyển đổi từ một nhân vật-chuỗi để một byte-chuỗi, sau đó sử dụng len() như bình thường:

>>> s = u"¡Hola, mundo!"              
>>> len(s)                  
13 # characters                    
>>> len(s.encode('utf-8')) 
14 # bytes 

Answer 3

Mã hóa chuỗi và sử dụng len trên kết quả hoạt động tốt, như các câu trả lời khác đã được hiển thị. Nó không cần phải xây dựng một bản sao của chuỗi - nếu bạn đang làm việc với các chuỗi rất lớn, điều này có thể không tối ưu (tôi không xem xét 1024 byte là lớn). Cấu trúc của UTF-8 cho phép bạn có được độ dài của mỗi ký tự rất dễ dàng mà không cần mã hóa nó, mặc dù nó vẫn có thể dễ dàng mã hóa một ký tự đơn. Tôi trình bày cả hai phương pháp ở đây, họ nên cho kết quả tương tự.

def utf8_char_len_1(c): 
    codepoint = ord(c) 
    if codepoint <= 0x7f: 
     return 1 
    if codepoint <= 0x7ff: 
     return 2 
    if codepoint <= 0xffff: 
     return 3 
    if codepoint <= 0x10ffff: 
     return 4 
    raise ValueError('Invalid Unicode character: ' + hex(codepoint)) 

def utf8_char_len_2(c): 
    return len(c.encode('utf-8')) 

utf8_char_len = utf8_char_len_1 

def utf8len(s): 
    return sum(utf8_char_len(c) for c in s)