Hôm nay tôi phát hiện ra rằng ASF đã nghỉ hưu mrunit (xem https://blogs.apache.org/foundation/entry/the_apache_news_round_up85 và https://issues.apache.org/jira/browse/HADOOP-3733 và homepage itself). Khác với "không hoạt động" không có lý do, vì vậy tôi đoán có phải là một thay thế?Kế thừa của mrunit là gì?
Điều gì sẽ được sử dụng thay vì mrunit để kiểm tra đơn vị mapreduce công việc trong tương lai?
Không chính xác là người kế thừa, nhưng tôi đã thử và thử nghiệm một công việc xung quanh với một chút nghiên cứu. Nó thực sự dựa trên mô-đun Minicluster của hadoop.
Để tìm hiểu cách sử dụng, chi tiết có thể được tìm thấy in this link here. Và một dự án demo github exists here.
One upvote cho nghiên cứu. Thật vậy, chúng tôi đã sử dụng 'MiniDFSCluster' trong một trường hợp và chắc chắn có thể sử dụng nó nhiều hơn. Nhưng nó không phải là câu trả lời tôi đang tìm kiếm, bởi vì MiniCluster là một bài kiểm tra mức độ chức năng hơn. Chúng tôi cũng muốn trình bày khía cạnh cấp độ đơn vị (vì vậy về cơ bản chỉ là các phương thức bản đồ/giảm) –
@DavidOngaro Đúng, tôi cũng đang nghĩ đến việc mở rộng sử dụng MiniDFSCluster và bao gồm một số thử nghiệm đơn vị trong đó. –
Tôi tin rằng lý do cho việc nghỉ hưu này là việc nhận ra rằng Mockito đã có thể xử lý những gì bạn cần để kiểm tra đơn vị trình ánh xạ/bộ giảm tốc của bạn. Tất cả những gì bạn cần là giả lập Context, Counter và HBase KeyValue của bạn và sau đó bạn có thể vượt qua một hàng (dưới dạng đối tượng Result) tới một người lập bản đồ và kiểm tra xem khóa/giá trị phát ra có chính xác hay không.
FYI - Tôi thực sự đã kiểm tra đơn vị MR của tôi hoạt động hoàn hảo bằng cách sử dụng phương pháp này mà không cần bất kỳ sự trợ giúp nào từ MRUnit và PowerMock.
Đây sẽ là một câu trả lời tốt hơn nếu thực tế có một số mã mẫu được liên kết với nó. – b4hand
Bạn có tìm thấy bất kỳ thứ gì không? –
Không. Có vẻ như chúng ta phải nhân bản dự án và duy trì nó. –
Tìm thấy cái gì đó có thể hữu ích, kiểm tra bài trả lời –