Tệp CSV có dấu ngoặc kép và dấu phẩy bên trong các trường

Question

Tôi có một tệp CSV mà tôi muốn phân tích - vấn đề là một nửa số dấu ngoặc kép được sử dụng làm dấu ngoặc kép và dấu phẩy bên trong trường chính. Chúng không thực sự là CSV, nhưng chúng có một số trường cố định có thể nhận dạng được. Các phương ngữ = csv. "Vượt trội" thiết lập hoạt động hoàn hảo trên các tập tin với phần thêm "và ký tự bên trong lĩnh vực này.

Những thông tin này là cũ/không được hỗ trợ. Tôi cố gắng để đẩy một số cuộc sống vào nó.

ví dụ

"AAAAA 
AAAA 
AAAA 
AAAA","AAAAAAAA 


AAAAAA 
AAAAA "AAAAAA" AAAAAAAAA 
AAAAAAAAAAAAAAAAAAAAAAAAA, AAAAA 
AAAAAAAAA AAAAA AAAAAAAAAA 
AAAAA, "AAAAA", AAAAAAAAA 
AAAAAAAA AAAAAAAA 
AAAAAAA 
" 

này được vấp ngã phân tích cú pháp tập tin, và ném một lỗi _csv.Error: newline inside string. tôi narrrowed nó xuống đến vấn đề này là bằng cách loại bỏ các dấu ngoặc kép từ bên trong lĩnh vực thứ 2 và các mô-đun csv.reader phân tích các tập tin OK .

Một số các trường là nhiều dòng - Tôi không chắc liệu điều đó có quan trọng không.

Tôi đã poking xung quanh tại các thiết lập phương ngữ, và trong khi tôi có thể tìm thấy 'skipinitialspace', điều này dường như không giải quyết được vấn đề.

Để được rõ ràng -. Đây là không hợp lệ 'CSV', các đối tượng dữ liệu của nó mà lỏng lẻo theo một cấu trúc CSV, nhưng có, và "ký tự bên trong kiểm tra lĩnh vực

Các lineterminator là \ x0d \ x0a

Tôi đã thử một số lần theo các phép tính khác nhau của doublequote và biến trích dẫn trong mô-đun phương ngữ, nhưng tôi không thể lấy phân tích cú pháp này một cách chính xác. chỉ tồn tại trên các ranh giới của trường.

Vấn đề này chỉ tồn tại cho một (cuối cùng) của một số trường trong tệp và có hàng nghìn tệp.

Answer 1

Tôi không được phép bình luận khá được nêu ra, vì vậy tôi sẽ đăng như một câu trả lời ...

Giả sử bạn đang sử dụng dấu phẩy như delimiter của bạn, được có bất kỳ dấu phẩy trong dữ liệu của bạn? Nếu không, sau đó bạn có thể thực hiện tìm kiếm lớn và thay thế để nhân đôi tất cả các ký tự trích dẫn sau ký tự đầu tiên và trước ký tự cuối cùng của trường trước khi xử lý CSV.

Answer 2

Bạn đã thử vượt qua csv.QUOTE_NONE qua từ khóa quoting arg? Nếu không có một số mã hoặc dữ liệu để kiểm tra điều này, tôi không có cách nào để biết liệu điều này có thực sự hoạt động trên dữ liệu của bạn hay không, nhưng dường như nó hoạt động với đoạn bạn đã cung cấp.

>>> import csv 
>>> r = csv.reader(open('foo.csv', 'rb'), quoting=csv.QUOTE_NONE) 
>>> for row in r: print row 
... 
['"A"', '"B"', '"ccc "ccccccc" cccccc"'] 

Answer 3

Tôi sẽ viết một trình chuyển đổi sẽ phân tích cú pháp csv ban đầu và xuất một tệp hợp lệ. Bạn có thể sử dụng ", hoặc" \ n làm cơ chế để xác định phân định.