Truy vấn tra cứu Cassandra khá chậm sau khi xóa gói dữ liệu lớn

Question

Hiện tại, tôi có một dòng cột cassandra với hàng lớn dữ liệu, để nói hơn 100.000. Bây giờ, tôi muốn xóa tất cả dữ liệu trong nhóm cột này và sự cố đã xuất hiện:

Sau khi xóa tất cả dữ liệu, tôi thực hiện truy vấn tra cứu trong họ cột này, cassandra sẽ mất hàng chục giây để trả lại một kết quả truy vấn trống. Và chi phí thời gian sẽ tăng tuyến tính khi dữ liệu gốc lớn hơn

Nó do tính năng bia mộ trong khi xóa dữ liệu khỏi cơ sở dữ liệu cassandra. Tốc độ tra cứu sẽ không phục hồi bình thường cho đến khi GC tiếp theo được kích hoạt. Xem Cassandra Distributed Deletes.

Bởi vì các hoạt động truy vấn như vậy thường được sử dụng trong hệ thống của tôi, tôi không thể chịu độ trễ lớn đến vài giây.

Bạn vui lòng cho tôi giải pháp cho vấn đề này không?

Answer 1

Điều này nghe có vẻ giống như một cách rất xấu để sử dụng cơ sở dữ liệu. Điền vào nó, làm trống nó, lặp lại. Một cách bạn có thể giải quyết vấn đề của mình là sử dụng các tên CF khác nhau mỗi lần, như khi bạn dọn sạch dữ liệu và bắt đầu tái tạo nó, tạo ra một nhóm cột mới và sử dụng nó và chỉ cần thả các họ colum khác tuy nhiên đây là hack.

Tôi khuyên bạn nên sử dụng tính năng nén (gets rid of all the tombstones it can detect) để giải quyết vấn đề của bạn, đó là CPU chuyên sâu nhưng tốt hơn là đợi hàng chục giây để truy vấn phản hồi. Bạn có thể làm nhiệm vụ ít chuyên sâu về máy tính của bạn bằng cách cung cấp các ks cụ & cf bạn muốn nhỏ gọn:

./nodetool compact <ks_name> <cf_name> 

điểm Ritchard là một tốt nhất, gc_grace_seconds được thiết lập đến 10 ngày theo mặc định, do đó bạn có thể sẽ phải tinh chỉnh điều này để cho phép nén chặt để loại bỏ bia mộ.

Answer 2

@Fify

Nếu gia đình cột của bạn là thường xuyên sửa đổi (đọc sau đó cập nhật sau đó đọc lại bản cập nhật ...), bạn nên sử dụng leveled compaction strategy

Để làm cho cột xóa bỏ quickier , thay đổi thuộc tính gc_grace_seconds của họ trong cột