Bulkloader CSV lỗi kích thước

Question

Bulkloader tăng các lỗi sau khi nhập một tập tin CSV với các tế bào lớn:

[ERROR ] Error in data source thread: field larger than field limit (131072) 

Đây là một vấn đề phổ biến đối với các mô-đun csv, có thể được cố định với:

csv.field_size_limit(sys.maxint) 

Tôi làm cách nào để làm cho trình tải hàng loạt thực thi điều này?

Answer 1

Hãy thử điều này:

Trong bulkloader.yaml add:

python_preamble: 
- import: csv_fix 
... # the rest of your imports 

Trong csv_fix.py add:

import csv, sys 
csv.field_size_limit(sys.maxint)