Tôi đã giảm hệ số nhân bản từ 3 xuống 1, nhưng không thấy bất kỳ hoạt động nào từ nút tên hoặc giữa các nút dữ liệu để loại bỏ các khối tệp HDFS quá sao chép. Có cách nào để theo dõi hoặc ép buộc công việc sao chép không?Nhân tố nhân rộng giảm HDFS
Trả lời
Thay đổi dfs.replication
sẽ chỉ áp dụng cho các tệp mới mà bạn tạo, nhưng sẽ không sửa đổi hệ số nhân bản cho các tệp hiện có.
Để thay đổi yếu tố sao chép các tập tin đã tồn tại, bạn có thể chạy lệnh sau đó sẽ được chạy đệ quy trên tất cả các file trong HDFS:
hadoop dfs -setrep -w 1 -R/
Có thể bạn có thể viết chức năng bản đồ để xóa các khối tệp!
Khi bạn thay đổi yếu tố sao chép mặc định từ 3 đến giả 2 từ người quản lý cloudera
Cloudera Manager(CDH 5.0.2) -> HDFS -> Configuration -> View and Edit -> Service-Wide -> Replication -> Replication Factor (dfs.replication) -> 2
thì chỉ dữ liệu mới được ghi sẽ có 2 bản sao cho mỗi khối.
Vui lòng sử dụng
hdfs dfs -setrep 2/
trên dòng lệnh (thường là một nút với HDFS Cổng Role) nếu bạn muốn thay đổi các yếu tố sao chép tất cả các dữ liệu hiện có. Lệnh này đệ quy thay đổi hệ số nhân bản của tất cả các tệp trong thư mục gốc /.
Cú pháp:
hdfs dfs -setrep [-R] [-w] <numReplicas> <path>
where
-w flag requests that the command wait for the replication to complete and can take a very long time
-R flag is just for backwards compatibility and has no effect
tham khảo:
Yếu tố sao chép mới ảnh hưởng đến các tập tin chỉ mới. Để thay đổi yếu tố sao chép các tập tin hiện có chạy trong vỏ (trên nút với điểm vào hadoop)
hadoop fs -setrep -w <replication factor> -R/
Nhưng, chỉ có "HDFS" có thể ghi vào/("HDFS" là superuser, không phải "root"). Vì vậy, có thể bạn sẽ phải chạy điều này:
sudo -u hdfs hadoop fs -setrep -w <replication factor> -R/
- 1. Nhân tố sao chép HDFS
- 2. Trục Matlab nhân rộng
- 3. Khung nhân rộng cho Mono
- 4. Lược đồ nhân rộng SQL Server Merge
- 5. 2 phân tích biểu đồ nhân tố
- 6. R - lưu nhiều nhân tố vào tệp
- 7. Đặt Identity_insert trên - Hợp nhất Nhân rộng
- 8. Nhân rộng cơ sở dữ liệu Firebird
- 9. Nhân rộng cơ sở dữ liệu
- 10. Nhân viên Web có tăng (hoặc giảm) bảo mật không?
- 11. Giảm mức độ duyên dáng với Nhân viên Web
- 12. Nhân vectơ vector-vector yếu tố trong BLAS?
- 13. Đại diện có cấu trúc, nhân tố và nguyên tử?
- 14. "$" nhân vật đô la tiền tố cookie tên
- 15. Tối ưu hóa nhân modulo số nguyên tố nhỏ
- 16. Nhóm 2 mức của một nhân tố trong R
- 17. Hướng dẫn nhân rộng trong MS SQL Server 2008
- 18. Nhân rộng các tab được nhúng trên thanh tác vụ
- 19. Chạy nhân rộng trên các vấn đề Mongo DB
- 20. Nhân bản ma trận Hadoop
- 21. Nhân TimeSpan trong .NET
- 22. Biến Nhân
- 23. Làm thế nào để đo gflops của nhân nhân ma trận nhân?
- 24. Gọi hạt nhân OpenCL từ một hạt nhân OpenCL khác
- 25. "Quá nhiều nhân vật trong nhân vật lỗi đen"
- 26. Viết nhiều hạt nhân hoặc một hạt nhân
- 27. Tải mô-đun hạt nhân trong hạt nhân Android
- 28. Cách giải quyết 'tệp chỉ có thể được nhân rộng thành 0 nút, thay vì 1' trong hadoop?
- 29. Nhân bản trạng thái Lua
- 30. Nhân tố sao chép Cassandra khi có nhiều trung tâm dữ liệu
Nó không phải là 'hadoop fs -setrep -w 1 -R/'? – zeekvfu
Lý tưởng nhất, nó phải là 'hadoop fs'. Nhưng mặc dù 'hadoop dfs' bị phản đối nhưng nó vẫn hoạt động. – daemon12
@zeekvfu, có hiệu lực, với bản phát hành cuối cùng của apache hdfs, nó phải là: hdfs dfs -setrep -w 2 -R / –