Loại vấn đề nào có thể mapreduce giải quyết?

Question

Có phân tích lý thuyết nào mô tả loại vấn đề mà mapreduce có thể giải quyết không?

Answer 1

Đối với các sự cố yêu cầu xử lý và tạo bộ dữ liệu lớn. Nói chạy truy vấn tạo sở thích trên tất cả các tài khoản mà ngân hàng giữ. Nói xử lý dữ liệu kiểm toán cho tất cả các giao dịch đã xảy ra trong năm qua trong ngân hàng. Trường hợp sử dụng tốt nhất là từ Google - tạo chỉ mục tìm kiếm cho công cụ tìm kiếm của Google.

Answer 2

Bất kỳ thứ gì liên quan đến hoạt động trên một tập dữ liệu lớn, nơi vấn đề có thể được chia nhỏ thành các vấn đề con độc lập nhỏ hơn, kết quả sau đó có thể được tổng hợp để đưa ra câu trả lời cho vấn đề lớn hơn.

Ví dụ nhỏ nhặt sẽ tính toán tổng số lượng lớn các số. Bạn chia bộ thành các tập nhỏ hơn, tính tổng của các tập hợp nhỏ hơn song song (có thể liên quan đến việc chia nhỏ các bộ đó thành các tập hợp nhỏ hơn), sau đó tính tổng các kết quả đó để đạt được câu trả lời cuối cùng.

Answer 3

Nhiều sự cố "Ngụ ý song song" (cụm từ tuyệt vời!) Có thể sử dụng MapReduce. http://en.wikipedia.org/wiki/Embarrassingly_parallel

Từ bài viết này .... http://www.businessweek.com/magazine/content/07_52/b4064048925836.htm ...

Doug cắt, người sáng lập Hadoop (một thực hiện mã nguồn mở của MapReduce) nói ... “Facebook sử dụng Hadoop để phân tích hành vi người dùng và hiệu quả của quảng cáo trên trang web "

và ..." nhóm công nghệ tại The New York Times đã thuê điện toán trên đám mây của Amazon và sử dụng Hadoop để chuyển đổi 11 triệu bài viết đã lưu trữ, có từ năm 1851 sang kỹ thuật số và có thể tìm kiếm Họ quay lại trong một ngày, một công việc mà nếu không thì sẽ có en tháng.”

Answer 4

Trong Map-Reduce for Machine Learning on Multicore Chu et al mô tả 'các thuật toán phù hợp với các mô hình truy vấn thống kê có thể được viết trong một‘hình thức tổng kết,’nhất định cho phép họ được dễ dàng song song trên các máy tính đa lõi.' Họ đặc biệt thực hiện 10 thuật toán bao gồm ví dụ hồi quy tuyến tính có trọng số, k-Means, Naive Bayes và SVM, sử dụng khung làm giảm bản đồ.

Dự án Apache Mahout đã phát hành một triển khai Hadoop (Java) gần đây của một số phương pháp dựa trên các ý tưởng từ bài báo này.

Answer 5

Bạn cũng có thể xem videos @ Google, tôi đang tự xem chúng và tôi thấy chúng rất mang tính giáo dục.

Answer 6

Câu trả lời nằm thực sự là tên của thuật toán. MapReduce không phải là một công việc lập trình song song với mục đích chung hoặc khung thực thi hàng loạt như một số câu trả lời được đề xuất. Bản đồ Reduce thực sự hữu ích khi lớn bộ dữ liệu cần được xử lý (Giai đoạn lập bản đồ) và lấy các thuộc tính nhất định từ đó, và sau đó cần được tóm tắt về các thuộc tính có nguồn gốc đó (Giai đoạn Giảm).

Answer 7

Sắp xếp của một giới thiệu thế giới chào MapReduce

http://blog.diskodev.com/parallel-processing-using-the-map-reduce-prog

Answer 8

Câu hỏi này đã được hỏi trước khi thời gian của mình. Từ năm 2009 đã có một phân tích lý thuyết về tính toán MapReduce. Bài báo năm 2010 của Howard Karloff et al. chính thức hóa MapReduce như một lớp phức tạp theo cùng cách mà các nhà lý thuyết nghiên cứu về P và NP.Chúng chứng minh một số mối quan hệ giữa MapReduce và một lớp được gọi là NC (có thể được coi là các máy song song bộ nhớ chia sẻ hoặc một lớp mạch hạn chế nhất định). Nhưng phần chính của công việc là định nghĩa chính thức của chúng.