Làm thế nào để bạn sao lưu Zookeeper?

Question

Tôi đã đọc rằng việc sao chép thư mục dữ liệu sẽ hoạt động. Nhưng, đó là sự kết hợp giữa nhật ký và ảnh chụp nhanh. Làm thế nào để folks sao lưu một cơ sở hạ tầng zookeeper? Xuất khẩu ? Dump? Tập lệnh tùy chỉnh? Các phương pháp hay nhất là gì?

Answer 1

Chúng tôi đang sửa đổi tập lệnh zkConfig.py vốn là dự án được đóng góp khi bạn cài đặt trình quản lý vườn thú. Nó cho phép bạn tương tác với zookeeper thông qua một kịch bản python.

Chúng tôi đang sửa đổi các tập lệnh để dễ dàng đổ và lưu toàn bộ nội dung mỗi đêm và sau đó sao lưu các tệp. Mặc dù tôi rất tò mò muốn nghe các giải pháp của người khác về điều này.

Answer 2

Sở thú viết một ảnh chụp nhanh khi nó xác định rằng nó có đủ giao dịch và mọi ảnh chụp mới hoàn toàn thay thế cho ảnh chụp cũ hơn. Vì vậy, ảnh chụp nhanh mới nhất + nhật ký giao dịch từ thời điểm chụp nhanh là đủ để phục hồi trạng thái hiện tại. Để thực hiện các phép tính dễ dàng hơn, bạn có thể chỉ cần sao lưu 3 ảnh chụp nhanh cuối cùng (trong trường hợp tham nhũng của ảnh chụp mới nhất) và nhật ký giao dịch từ dấu thời gian tương ứng với ảnh chụp nhanh nhất. Các liên kết bên dưới có một số chi tiết khác.

1. http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_dataFileManagement
2. http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

Answer 3

tôi chỉ có yêu cầu tương tự và thấy rằng hầu hết các tùy chọn có sẵn hoặc không làm việc hoặc đòi hỏi nhiều tùy biến. Tùy chọn tốt nhất tôi tìm thấy là Guano, một ứng dụng Java nhỏ truy cập từng nút trong cây một cách đệ quy bắt đầu từ nút đã khai báo và kết xuất nó thành một cấu trúc thư mục phù hợp, vì vậy bạn kết thúc với cấu trúc thư mục của các tệp đơn giản. được cấu trúc giống như cây thực tế.

Bạn cũng có thể khôi phục các bản sao lưu này bằng cách yêu cầu khôi phục đệ quy từ bất kỳ điểm nào trong cây đó. Tôi nghĩ điều này khá tốt cho cả việc sao lưu và thăm dò. Ví dụ tôi ngay lập tức sử dụng ack từ gốc để tìm tất cả các tập tin với một mục tôi quan tâm. Điều này là dễ dàng để mở rộng vào một sao lưu thích hợp chỉ đơn giản bằng cách đặt nó như là một công việc cron và thêm một bước zip để nén toàn bộ sao lưu vào một kho lưu trữ cũng như xử lý bất kỳ luân chuyển cần thiết. Quay lại đầu trang |

Có một vài nhược điểm để công cụ:

1. Khi đứng trên Github bản gốc không biên dịch do thiếu một vài hàng nhập khẩu. Một số người đã thực hiện PR hoặc dĩa để khắc phục sự cố này như https://github.com/feldoh/guano, đó là ngã ba của tôi trong đó tôi cũng cải thiện tài liệu. Bây giờ tôi cũng đã biên dịch trước lọ và sẽ đẩy các tệp nhị phân vào https://bintray.com/feldoh/Guano/guano.
2. Nó chỉ đổ dữ liệu, rất tốt cho việc thăm dò nhưng mất dữ liệu meta như mTime hoặc phiên bản dữ liệu. Phải thừa nhận rằng việc khôi phục có thể được tính là bản cập nhật nên tôi không thể nói nó thực sự là một điều xấu, nhưng nó không phải là một sự khôi phục đúng thời điểm.

NB: Tôi đã tạo trình chỉnh sửa Zookeeper của riêng mình vì tôi gặp vấn đề tương tự khi tìm một trong những người đã làm việc và đáp ứng nhu cầu của tôi. Tùy thuộc vào thời điểm bạn đọc này https://github.com/feldoh/JZookeeperEdit cũng có thể có tính năng xuất. Các vấn đề 13/14 bao gồm tính năng được lên kế hoạch này.

Answer 4

Netflix cung cấp giải pháp cho điều này được gọi là exhibitor. Đó là "ZooKeeper đồng xử lý để theo dõi ví dụ, sao lưu/phục hồi, dọn dẹp và trực quan hóa."