Phân trang trong Amazon DynamoDB bằng Boto

Question

Làm cách nào để phân trang kết quả của tôi từ DynamoDB bằng thư viện python Boto? Từ tài liệu API Boto, tôi không thể tìm hiểu xem nó có hỗ trợ phân trang hay không, mặc dù API DynamoDB không hỗ trợ phân trang.

Answer 1

Boto không hỗ trợ "phân trang" như hành vi sử dụng kết hợp "ExclusiveStartKey" và "Limit". Ví dụ: để phân trang Scan.

Dưới đây là một ví dụ mà nên phân tích một bảng toàn bởi khối 10

esk = None 

while True: 
    # load this batch 
    scan_generator = MyTable.scan(max_results=10, exclusive_start_key=esk) 

    # do something usefull 
    for item in scan_generator: 
     pass # do something usefull 
    # are we done yet ? 
    else: 
     break; 

    # Load the last keys 
    esk = scan_generator.kwargs['exclusive_start_key'].values() 

EDIT:

Như đã chỉ ra bởi @garnaat, có thể là tôi hiểu lầm mục tiêu thực tế của bạn. Đề xuất trên cho phép bạn cung cấp phân trang như SO cho câu hỏi chẳng hạn. Không quá 15 mỗi trang.

Nếu bạn chỉ cần một cách để tải toàn bộ tập kết quả được tạo bởi một Scan, Boto là một thư viện tuyệt vời và đã tóm tắt điều này cho bạn mà không cần ma thuật đen như trong câu trả lời của tôi. Trong trường hợp này, bạn nên làm theo những gì anh ta (@garnaat) khuyên. Btw, ông là tác giả của Boto và, như vậy, một tài liệu tham khảo tuyệt vời cho các câu hỏi liên quan đến Boto :)

Answer 2

Có lẽ tôi hiểu nhầm câu hỏi nhưng tôi nghĩ rằng bạn đang làm cho nó khó khăn hơn nó cần. Nếu bạn đang sử dụng giao diện DynamoDB lớp 2 trong boto (mặc định), nó xử lý việc phân trang cho bạn.

Vì vậy, nếu bạn muốn làm một thao tác truy vấn, bạn chỉ cần làm điều này:

import boto 

c = boto.connect_dynamodb() 
t = c.get_table('mytable') 
for item in t.query(hash_key='foo'): 
    print item 

này sẽ tự động xử lý các pagination kết quả từ DynamoDB. Tương tự cũng sẽ làm việc cho một yêu cầu quét.

Answer 3

có một cơ hội tốt bạn muốn một cái gì đó như thế này:

qms = tms.query(hash_key=415772421368583351, max_results=2, exclusive_start_key=None) 
for i in qms: 
    print i 
lek = qms.last_evaluated_key 
qms = tms.query(hash_key=415772421368583351, max_results=2, exclusive_start_key=lek) 
for i in qms: 
    print i 

của khóa học này là một ví dụ ngớ ngẩn cho cuộc biểu tình.
Chìa khóa ở đây là sử dụng last_evaluated_key không phải là exclusive_start_key