Bất cứ ai có thể giải thích cách RecordReader thực sự hoạt động? Các phương pháp nextkeyvalue()
, getCurrentkey()
và getprogress()
hoạt động sau khi chương trình bắt đầu thực hiện như thế nào?Làm việc của RecordReader trong Hadoop
9
A
Trả lời
13
(API mới): Lớp Mapper mặc định có một phương pháp chạy mà trông như thế này:
public void run(Context context) throws IOException, InterruptedException {
setup(context);
while (context.nextKeyValue()) {
map(context.getCurrentKey(), context.getCurrentValue(), context);
}
cleanup(context);
}
Các Context.nextKeyValue()
, Context.getCurrentKey()
và Context.getCurrentValue()
phương pháp hàm bao cho RecordReader
phương pháp. Xem tập tin nguồn src/mapred/org/apache/hadoop/mapreduce/MapContext.java
.
Vì vậy, vòng lặp này thực hiện và gọi phương thức map(K, V, Context)
của Trình ánh xạ của bạn.
Cụ thể, bạn muốn biết điều gì khác?
0
org.apache.hadoop.mapred.MapTask - runNewMapper()
Imp bước sau:
tạo mapper mới
được chia đầu vào cho các mapper
nhận bản ghi âm cho việc chia tách
khởi đọc kỷ lục
sử dụng đầu đọc ghi lại lặp qua getNextKeyVal() và vượt qua trọng điểm, val phương pháp bản đồ vẽ bản đồ
dọn dẹp
Các vấn đề liên quan
- 1. làm thế nào để giết các công việc hadoop
- 2. Ghi đè mapreduce.fileoutputcommitter.marksuccessfuljobs của hadoop trong oozie
- 3. Thay đổi kích thước Tách tệp trong Hadoop
- 4. Hadoop dfs -ls trả về danh sách các tệp trong hadoop/dir của tôi
- 5. Giới thiệu về việc chia nhỏ tệp Hadoop/HDFS
- 6. Việc tham gia tương tự bằng cách sử dụng Hadoop
- 7. Lỗi khi khởi động Trình theo dõi công việc Hadoop
- 8. Chạy công việc Hadoop mà không cần sử dụng JobConf
- 9. Cách in trên bảng điều khiển trong khi thực hiện công việc MapReduce trong hadoop
- 10. Giá trị giảm tốc của Hadoop trong bộ nhớ?
- 11. Tôi có nên thích hadoop vs condor khi làm việc với R?
- 12. NullPointerException từ JobSplitWriter/SerializationFactory của Hadoop khi gọi getClass của InputSplit()
- 13. Làm cách nào để chuyển một tham số cho công việc phát trực tuyến Hadoop trăn?
- 14. Làm cách nào để kiểm soát tên tệp và nội dung của công việc phát trực tuyến Hadoop?
- 15. Đọc Hadoop SequenceFiles với Hive
- 16. Tôi làm cách nào để bao gồm gói python với công việc phát trực tuyến Hadoop?
- 17. Làm cách nào để viết các công việc hadoop 'chỉ bản đồ'?
- 18. Các truy vấn chậm của Hadoop Hive
- 19. Hadoop trong đổi tên tệp
- 20. Biến toàn cục trong hadoop
- 21. Cách triển khai sắp xếp trong hadoop?
- 22. Việc sử dụng bộ so sánh nhóm trong bản đồ hadoop là gì?
- 23. gì là việc sử dụng các lớp cấu hình trong các chương trình Hadoop
- 24. BindException trong Hadoop trên EC2
- 25. Có ln trong hadoop HDFS
- 26. lỗi trong khi chạy hadoop
- 27. Công việc Hadoop: Tác vụ không báo cáo trạng thái trong 601 giây
- 28. Bắt Hadoop Trình theo dõi công việc Số liệu trong JSON
- 29. làm thế nào để sắp xếp số trong giai đoạn trộn/sắp xếp của Hadoop?
- 30. MultipleOutputFormat in hadoop
@ Chris..Thts rất hữu ích .. ... và bạn có thể giải thích về phân chia và hồ sơ được đưa vào ảnh trong trình ghi âm không? Tôi bị nhầm lẫn ... – Amnesiac
Tách được tạo bởi InputFormat và được lấy từ tệp đầu vào bạn chuyển vào, cho dù tệp đầu vào có thể chia nhỏ hay không và các tùy chọn khác mà bạn vượt qua như kích thước chia nhỏ nhất/tối thiểu –
Mỗi lần chia tách xử lý để sản xuất các hồ sơ được thông qua để các phương pháp bản đồ –