Python cho rằng tệp văn bản 3000 dòng là một dòng dài?

Question

Tôi có một tệp văn bản rất dài mà tôi đang cố gắng xử lý bằng cách sử dụng Python.

Tuy nhiên, đoạn mã sau:

for line in open('textbase.txt', 'r'): 
    print 'hello world' 

chỉ sản xuất đầu ra sau đây:

hello world 

Nó như thể Python cho rằng tập tin là chỉ có một dòng dài, mặc dù nó là nhiều ngàn dòng dài, khi được xem trong trình soạn thảo văn bản. Kiểm tra nó trên dòng lệnh bằng cách sử dụng tập tin lệnh cho:

$ file textbase.txt 
textbase.txt: Big-endian UTF-16 Unicode English text, with CR line terminators 

Có điều gì sai? Tôi có cần phải thay đổi các dòng terminator không?

Answer 1

Có thể bạn sẽ tìm thấy đó là "với các thuật ngữ dòng CR" cung cấp cho trò chơi. Nếu bạn đang làm việc trên nền tảng sử dụng dòng mới làm công cụ tạo dòng, thì sẽ xem tệp của bạn là một dòng chú giải lớn.

Thay đổi tệp đầu vào của bạn để tệp sử dụng đúng thuật ngữ dòng. Trình soạn thảo của bạn có lẽ sẽ được tha thứ nhiều hơn so với việc triển khai Python của bạn.

Kết thúc dòng CR là điều Mac theo như tôi biết và bạn có thể sử dụng công cụ sửa đổi chế độ U thành open để tự động phát hiện dựa trên đầu mối dòng đầu tiên được tìm thấy.

Answer 2

open() trả về đối tượng tệp. Bạn cần sử dụng:

for line in open('textbase.txt', 'r').readlines(): 
    print line 

Answer 3

Theo documentation for open(), bạn nên thêm một U sang chế độ:

open('textbase.txt', 'Ur') 

Điều này cho phép "universal newlines", mà bình thường hóa chúng để \n trong chuỗi nó mang lại cho bạn .

Tuy nhiên, điều đúng cần làm là giải mã UTF-16BE thành các đối tượng Unicode trước tiên, trước khi dịch dòng mới. Nếu không, một byte cơ hội 0x0d có thể bị sai lầm biến thành một 0x0a, dẫn đến

UnicodeDecodeError: 'utf16' codec can't decode byte 0x0a in position 12: truncated data.

Python của codecs module cung cấp một chức năng open có thể giải mã Unicode và xử lý dòng mới cùng một lúc:

import codecs 
for line in codecs.open('textbase.txt', 'Ur', 'utf-16be'): 
    ... 

Nếu tập tin có một dấu thứ tự byte (BOM) và bạn chỉ định 'utf-16', sau đó nó phát hiện endianness và ẩn BOM cho bạn. Nếu nó không (vì BOM là tùy chọn), thì bộ giải mã đó sẽ tiếp tục và sử dụng tính cuối cùng của hệ thống của bạn, điều này có thể sẽ không tốt.

Xác định endianness mình (với 'utf-16be') sẽ không giấu BOM, vì vậy bạn có thể muốn sử dụng hack này:

import codecs 
firstline = True 
for line in codecs.open('textbase.txt', 'Ur', 'utf-16be'): 
    if firstline: 
     firstline = False 
     line = line.lstrip(u'\ufeff') 

Xem thêm: Python Unicode HOWTO

Answer 4

nó trông giống như tập tin của bạn đã dòng chấm dứt chỉ bởi CR, và Python có lẽ đang mong đợi LF hoặc CRLF. Hãy thử sử dụng 'xuống dòng phổ quát':

for line in open('textbase.txt', 'rU'): 
    print 'hello world' 

http://docs.python.org/library/functions.html?highlight=open#open