Cập nhật một số lượng lớn các thực thể trong một kho dữ liệu trên Google App Engine

Question

Tôi muốn thực hiện một thao tác nhỏ trên tất cả các thực thể thuộc một loại cụ thể và ghi lại chúng vào kho dữ liệu. Tôi hiện có 20.000 thực thể thuộc loại này nhưng muốn một giải pháp có thể mở rộng với bất kỳ số tiền nào.

Tùy chọn của tôi là gì?

Answer 1

Sử dụng mapper - đây là một phần của khung công tác MapReduce, nhưng bạn chỉ muốn thành phần đầu tiên, bản đồ, vì bạn không cần bước trộn/giảm nếu bạn chỉ đơn giản là tắt các thực thể kho dữ liệu.

Answer 2

Daniel đúng, nhưng nếu bạn không muốn làm hỏng người lập bản đồ, yêu cầu bạn thêm một thư viện khác vào ứng dụng của mình, bạn có thể sử dụng Task Queues hoặc thậm chí đơn giản hơn bằng cách sử dụng deferred library được bao gồm trong SDK 1.2 .3.

20.000 thực thể không phải là ấn tượng và tôi cho rằng nhiệm vụ này sẽ không được thực hiện thường xuyên (nhưng ngay cả khi có, nó là khả thi).

Dưới đây là ví dụ sử dụng NDB và thư viện hoãn lại (bạn có thể dễ dàng thực hiện việc đó bằng DB, nhưng hãy cân nhắc chuyển sang NDB nếu bạn chưa sử dụng nó). Đó là một cách khá thẳng về phía trước, nhưng không quan tâm nhiều đến thời gian chờ:

def update_model(limit=1000): 
    more_cursor = None 
    more = True 
    while more: 
    model_dbs, more_cursor, more = Model.query().fetch_page(limit, start_cursor=more_cursor) 
    for model_db in model_dbs: 
     model_db.updated = True 
    ndb.put_multi(model_dbs) 
    logging.info('### %d entities were updated' % len(model_dbs)) 

class UpdateModelHandler(webapp2.RequestHandler): 
    def get(self): 
    deferred.defer(update_model, _queue='queue') 
    self.response.headers['Content-Type'] = 'text/html' 
    self.response.out.write('The task has been started!')