Xin chào, tôi là một người mới sử dụng dữ liệu lớn. Tôi đã tìm kiếm trên internet để tìm chính xác chế độ uber. Càng tìm kiếm thì tôi càng bối rối. Ai có thể giúp tôi bằng cách trả lời các câu hỏi của tôi không?Mục đích của "chế độ uber" trong hadoop là gì?
Chế độ UBER trong Hadoop2 là gì?
Thông thường người vẽ bản đồ và bộ giảm tốc sẽ được chạy bởi ResourceManager (RM), RM sẽ tạo vùng chứa riêng cho trình ánh xạ và bộ giảm tốc. Cấu hình Uber, sẽ cho phép chạy trình ánh xạ và bộ giảm tốc trong cùng một quy trình với ApplicationMaster (AM).
việcUber:
việc làm Uber là công việc mà được thực hiện trong phạm vi MapReduce ApplicationMaster. Thay vào đó, hãy liên lạc với RM để tạo các bộ chứa bản đồ và bộ giảm tốc. AM chạy bản đồ và giảm bớt các nhiệm vụ trong quá trình của riêng mình và tránh chi phí phát hành và giao tiếp với các container từ xa.
Tại sao
Nếu bạn có một tập dữ liệu nhỏ hoặc bạn muốn chạy MapReduce trên lượng nhỏ dữ liệu, cấu hình Uber sẽ giúp bạn ra ngoài, bằng cách giảm thêm thời gian mà MapReduce thường dành trong mapper, giảm thiểu giai đoạn.
Tôi có thể định cấu hình Uber cho tất cả công việc MapReduce không?
Hiện tại, công việc chỉ có bản đồ và công việc có một bộ giảm được hỗ trợ.
Uber Công việc xảy ra khi nhiều công cụ lập bản đồ và bộ giảm tốc được kết hợp để sử dụng một vùng chứa duy nhất. Có bốn cài đặt cốt lõi xung quanh cấu hình của Uber Jobs trong mapred-site.xml. tùy chọn cấu hình cho Jobs Uber:
mapreduce.job.ubertask.enablemapreduce.job.ubertask.maxmapsmapreduce.job.ubertask.maxreducesmapreduce.job.ubertask.maxbytesBạn có thể tìm thêm chi tiết ở đây: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.15/bk_using-apache-hadoop/content/uber_jobs.html
Về hadoop2.x, Công việc Uber là công việc được tạo ra trong bản đồ hóa bản thân ApplicationMaster, nghĩa là không có vùng chứa riêng biệt nào được tạo ra cho các công việc bản đồ và giảm và do đó, việc tạo ra các thùng chứa và liên lạc với chúng sẽ được lưu lại trên chi phí .
Theo như làm việc (với hadoop 1.x và 2.x) là có liên quan, tôi cho rằng sự khác biệt chỉ có thể quan sát được khi nói đến thuật ngữ 1.x và 2.x, không có sự khác biệt khi làm việc.
Thông số cấu hình giống như thông số được Navneet Kumar đề cập trong câu trả lời của anh ấy.
PS: Chỉ sử dụng với tập dữ liệu nhỏ.
Câu trả lời hay được đưa ra cho "Chế độ Uber là gì?" Chỉ cần thêm một số thông tin khác cho "Tại sao?"
Chủ ứng dụng quyết định cách chạy các tác vụ thực hiện lên công việc MapReduce. Nếu công việc nhỏ, chủ ứng dụng có thể chọn để chạy các tác vụ trong cùng một JVM như chính nó. Điều này xảy ra khi nó đánh giá cao việc phân bổ và chạy các nhiệm vụ trong các thùng chứa mới lớn hơn mức tăng trong việc chạy chúng song song, khi so sánh với việc chạy chúng tuần tự trên một nút.
Bây giờ, những câu hỏi có thể được nêu ra là "Có gì đủ tiêu chuẩn là một công việc nhỏ?
Theo mặc định, một công việc nhỏ là một trong đó có ít hơn 10 người vẽ bản đồ, chỉ có một giảm, và kích thước đầu vào đó là ít so với kích thước của một khối HDFS.