sys.argv dưới dạng byte trong Python 3k

Question

Khi Python 3k giới thiệu sự phân biệt nghiêm ngặt giữa các chuỗi và byte, các đối số dòng lệnh trong mảng sys.argv được trình bày dưới dạng chuỗi. Đôi khi, cần phải coi các đối số là byte, ví dụ: khi đi qua một đường dẫn không cần phải có trong bất kỳ mã hóa ký tự cụ thể nào trong Unix.

Hãy xem ví dụ. Sơ lược Python 3k chương trình argv.py sau:

đầu ra

import sys 

print(sys.argv[1]) 
print(b'bytes') 

Khi nó được thực hiện như python3.1 argv.py français nó tạo ra mong đợi:

français

b'bytes'

Lưu ý rằng đối số français là trong bảng mã miền địa phương của tôi. Tuy nhiên, khi chúng ta vượt qua đối số trong một bảng mã khác nhau chúng ta có được một lỗi: python3.1 argv.py `echo français|iconv -t latin1`

Traceback (most recent call last): 
    File "argv.py", line 3, in <module> 
    print(sys.argv[1]) 
    UnicodeEncodeError: 'utf-8' codec can't encode character '\udce7' in position 4: surrogates not allowed 

Làm thế nào chúng ta sẽ truyền dữ liệu nhị phân để chương trình Python 3k qua đối số dòng lệnh? Một ví dụ về cách sử dụng là chuyển một đường dẫn đến tệp của người dùng sử dụng ngôn ngữ khác.

Answer 1

Bạn có thể làm:

sys.argv[1].encode() hoặc, nếu bạn biết được mã hóa sử dụng nó như là đối số hoặc gọi bytes(sys.argv[1], 'latin-1').

Cả hai đều sẽ cho bạn biểu diễn byte của chuỗi unicode.

Theo mặc định, Python3 sử dụng UTF-8.

Answer 2

Lưu ý rằng lỗi là UnicodeEncodeError thay vì UnicodeDecodeError. Python bảo toàn các byte chính xác được truyền trên dòng lệnh (thông qua bộ xử lý lỗi PEP 383 surrogateescape), nhưng các byte đó không hợp lệ UTF-8 và do đó không thể mã hóa như vậy để ghi vào bàn điều khiển.

Cách tốt nhất để đối phó với điều này là sử dụng những kiến ​​thức mức ứng dụng của mã hóa chính xác để diễn giải lại các đối số dòng lệnh bên trong ứng dụng, như trong đoạn mã ví dụ sau:

$ python3.2 -c "import os, sys; print(os.fsencode(sys.argv[1]).decode('latin-1'))" `echo français|iconv -t latin1` 
français 

Các os.fsencode chức năng gọi đảo ngược chuyển đổi Python được áp dụng tự động khi xử lý các đối số dòng lệnh. Cuộc gọi phương thức decode('latin-1') sau đó thực hiện chuyển đổi chính xác để nhận chuỗi được giải mã đúng.

os.fsencode đã được thêm vào bằng Python 3.2, đặc biệt để làm cho loại vấn đề này dễ giải quyết hơn. Đối với Python 3.1, các cấu trúc tương đương cho os.fsencode(sys.argv[1]) là sys.argv[1].encode(sts.getfilesystemencoding(), 'surrogateescape')

Sửa Tháng 2 năm 2013: cập nhật cho Python 3.2+, và để tránh giả định rằng Python autodetected "UTF-8" như mã hóa dòng lệnh