Lỗi nhập khẩu Cassandra .csv: lô quá lớn

Question

Tôi đang cố nhập dữ liệu từ tệp .csv vào Cassandra 3.2.1 qua lệnh sao chép.Trong tệp chỉ có 299 hàng có 14 cột. Tôi nhận được Lỗi:

Không nhập được 299 hàng: InvalidRequest - Mã = 2200 [truy vấn không hợp lệ] message = "hàng loạt quá lớn"

tôi đã sử dụng COMAND sao chép sau đây và tryied để tăng kích thước hàng loạt :

copy table (Col1,Col2,...)from 'file.csv' with delimiter =';' and header = true and MAXBATCHSIZE = 5000;

tôi nghĩ 299 hàng là không quá nhiều để nhập khẩu vào cassandra hay tôi đã sai lầm?

Answer 1

Lỗi bạn đang gặp phải là thông báo lỗi phía máy chủ, cho biết rằng kích thước (về số byte) của chèn hàng loạt quá lớn.

kích thước hàng loạt này được định nghĩa trong file cassandra.yaml:

# Log WARN on any batch size exceeding this value. 5kb per batch by default. 
# Caution should be taken on increasing the size of this threshold as it can lead to node instability. 
batch_size_warn_threshold_in_kb: 5 

# Fail any batch exceeding this value. 50kb (10x warn threshold) by default. 
batch_size_fail_threshold_in_kb: 50 

Nếu bạn chèn nhiều cột lớn (kích thước), bạn có thể đạt được một cách nhanh chóng ngưỡng này. Cố gắng giảm bớt thông tin MAXBATCHSIZE đến 200.

Thông tin thêm về tùy chọn COPY here