Xuất lượng lớn dữ liệu từ Cassandra sang CSV

Question

Tôi đang sử dụng Cassandra 2.0.9 để lưu trữ một lượng lớn dữ liệu, giả sử 100Gb, trong một họ cột. Tôi muốn xuất dữ liệu này sang CSV theo cách nhanh chóng. Tôi cố gắng:

• sstable2json - nó tạo ra file json khá lớn mà rất khó để phân tích - bởi vì công cụ đặt dữ liệu trong một hàng và sử dụng phức tạp schema, phải mất (ví dụ: 300MB tập tin dữ liệu = ~ 2Gb json.) rất nhiều thời gian để đổ và Cassandra thích thay đổi tên tập tin nguồn theo cơ chế nội bộ của mình
• COPY - gây timeouts trên EC2 khá nhanh cho số lượng lớn các bản ghi
• CAPTURE - như trên, nguyên nhân timeouts
• đọc với pagination - Tôi đã từng timeuuid cho nó, nhưng nó sẽ trả về khoảng 1,5k hồ sơ mỗi giây

tôi sử dụng Amazon EC2 dụ với lưu trữ nhanh, 15 Gb RAM và 4 lõi

Is có bất kỳ lựa chọn tốt hơn cho xuất khẩu gigabyte dữ liệu từ Cassandra để CSV?

Answer 1

Bởi vì việc sử dụng COPY sẽ khá khó khăn khi bạn đang cố gắng xuất một bảng với hàng triệu hàng từ Cassandra, Vì vậy, những gì tôi đã làm là tạo công cụ đơn giản để lấy dữ liệu bằng đoạn (phân trang) từ bảng cassandra và xuất nó sang CSV.

Nhìn vào số example solution sử dụng thư viện java của tôi từ datastax.