Khuôn khổ tập hợp Mongodb có nhanh hơn bản đồ/giảm không?

Question

Khung công tác tổng hợp có được giới thiệu trong Mongodb 2.2 không, có bất kỳ cải tiến hiệu suất đặc biệt nào trên bản đồ/giảm không?

Nếu có, tại sao và như thế nào và bao nhiêu?

(Đã tôi đã thực hiện một thử nghiệm cho bản thân mình, và hiệu suất gần như giống nhau)

Answer 1

Mỗi bài kiểm tra tôi đã đích thân chạy (kể cả sử dụng dữ liệu của riêng bạn) cho thấy khung tổng hợp là một hệ số e nhanh hơn bản đồ giảm, và thường là một thứ tự cường độ nhanh hơn.

Chỉ cần lấy 1/10 dữ liệu bạn đã đăng (nhưng thay vì xóa bộ nhớ cache của hệ điều hành, hãy làm mới bộ đệm trước - vì tôi muốn đo hiệu suất của tập hợp và không mất bao lâu để trang trong dữ liệu) nhận điều này:

MapReduce: 1,058ms
aggregation khung: 133ms

Tháo $ trận đấu từ khuôn khổ hợp và {query:} từ MapReduce (vì cả hai sẽ chỉ sử dụng một chỉ số và đó không phải là những gì chúng ta muốn để đo lường) và nhóm toàn bộ tập dữ liệu theo key2 Tôi nhận được:

MapReduce: 18,803ms
Aggregation Khung: 1,535ms

Đó là rất nhiều phù hợp với các thí nghiệm trước đây của tôi.

Answer 2

benchmark của tôi:

== dữ liệu thế hệ ==

Tạo 4million hàng (với trăn) dễ dàng với khoảng 350 byte. Mỗi tài liệu có các phím:

• key1, key2 (hai cột ngẫu nhiên để kiểm tra lập chỉ mục, một với cardinality của năm 2000, và một với cardinality của 20)
• longdata: một chuỗi dài để tăng kích thước của mỗi tài liệu
• giá trị: một số đơn giản (const 10) để kiểm tra tập hợp

 
db = Connection('127.0.0.1').test # mongo connection 
random.seed(1) 
for _ in range(2): 
    key1s = [hexlify(os.urandom(10)).decode('ascii') for _ in range(10)] 
    key2s = [hexlify(os.urandom(10)).decode('ascii') for _ in range(1000)] 
    baddata = 'some long date ' + '*' * 300 
    for i in range(2000): 
     data_list = [{ 
       'key1': random.choice(key1s), 
       'key2': random.choice(key2s), 
       'baddata': baddata, 
       'value': 10, 
       } for _ in range(1000)] 
     for data in data_list: 
      db.testtable.save(data) 

Tổng kích thước dữ liệu vào khoảng 6GB ở Mông Cổ. (Và 2GB trong postgres)

thử nghiệm == ==

tôi đã làm một số kiểm tra, nhưng một là đủ để kết quả so sánh:

LƯU Ý: Server được khởi động lại, và OS nhớ cache được làm sạch sau mỗi truy vấn, bỏ qua hiệu ứng của bộ nhớ đệm.

QUERY: tổng hợp tất cả các hàng với key1=somevalue (khoảng 200K hàng) và tổng value cho mỗi bản đồ key2

• /giảm 10,6 giây
• aggreate 9,7 giây
• nhóm 10,3 giây

truy vấn:

bản đồ/giảm:

db.testtable.mapReduce(function(){emit(this.key2, this.value);}, function(key, values){var i =0; values.forEach(function(v){i+=v;}); return i; } , {out:{inline: 1}, query: {key1: '663969462d2ec0a5fc34'} })

tổng hợp:

db.testtable.aggregate({ $match: {key1: '663969462d2ec0a5fc34'}}, {$group: {_id: '$key2', pop: {$sum: '$value'}} })

nhóm:

db.testtable.group({key: {key2:1}, cond: {key1: '663969462d2ec0a5fc34'}, reduce: function(obj,prev) { prev.csum += obj.value; }, initial: { csum: 0 } })