Tôi đang cố gắng để hồ sơ ứng dụng của mình để xem liệu tôi có thể tái sản xuất this blogpost hay không. Tôi đã thêm -D mapred.task.profile = true vào dòng lệnh và được kiểm tra trong cấu hình công việc cần thiết.Đầu ra hồ sơ Hadoop - ở đâu và cái gì?
Hadoop: The Definitive Guide cho biết thông tin tiểu sử sẽ xuất hiện trong thư mục Unix Tôi đã thực hiện công việc. Thư mục tôi bắt đầu có tệp try_201305011806_0042_m_000002_0.profile, đó là ID công việc chính xác nhưng không có người lập bản đồ số 2 (chỉ có 1 người lập bản đồ và không thành công). Đầu ra chỉ có thông tin tiêu đề trong tệp hồ sơ; không có bất kỳ thông tin hồ sơ thực tế nào.
Tài liệu Hadoop nói đầu ra sẽ nằm trong thư mục nhật ký người dùng nhưng tôi không thể tìm thấy bất kỳ thứ gì. Nếu tôi đi vào nhật ký công việc cho người lập bản đồ, có thông tin lược tả trong "hồ sơ.kết nhật bản ghi" với thông tin hợp pháp. Thư mục đầu ra HDFS của tôi không có thông tin lược tả. Không nên đầu ra hồ sơ trong HDFS một nơi nào đó?
Ngoài ra, nó chỉ cung cấp cho đầu ra dựa trên văn bản trong nhật ký nhưng tất cả các công cụ tôi đã tìm thấy để hình dung hồ sơ giả sử định dạng nhị phân hprof. Bất kỳ ý tưởng cho làm thế nào tôi có thể nhận được một hồ sơ nhị phân hoặc người nào khác tải một hồ sơ dựa trên văn bản vào một công cụ hprof?
Bạn đã giải quyết vấn đề này chưa? – AST
Không, chúng tôi phải tắt cụm Hadoop vì các lý do khác trước khi tôi có thể tìm ra. Tôi muốn đóng câu hỏi nhưng nó có thể hữu ích cho người khác. – Keith
Ok cảm ơn thông tin. – AST