Làm thế nào để sử dụng hiệu quả SSHCursor của MySQLDB?

Question

Tôi phải đối phó với một tập hợp kết quả lớn (có thể là hàng trăm nghìn hàng, đôi khi nhiều hơn).
Rất tiếc, chúng cần được truy xuất tất cả cùng một lúc (khi khởi động).

Tôi đang cố gắng làm điều đó bằng cách sử dụng càng ít bộ nhớ càng tốt.
Bằng cách xem trên SO, tôi thấy rằng việc sử dụng SSCursor có thể là những gì tôi đang tìm kiếm, nhưng tôi vẫn không thực sự biết cách sử dụng chính xác chúng.

Đang thực hiện một số fetchall() từ con trỏ cơ sở hoặc SScursor giống nhau (trong điều khoản sử dụng bộ nhớ)?
Tôi có thể 'phát trực tuyến' từ con trỏ của tôi từng hàng một (hoặc một số ít) và nếu có,
cách tốt nhất để làm như vậy là gì?

Answer 1

Tôi đồng ý với câu trả lời Otto Allmendinger, nhưng để làm cho bình luận rõ ràng Denis Otkidach của, đây là cách bạn có thể lặp qua các kết quả mà không cần dùng lấy() chức năng của Otto:

import MySQLdb.cursors 
connection=MySQLdb.connect(
    host="thehost",user="theuser", 
    passwd="thepassword",db="thedb", 
    cursorclass = MySQLdb.cursors.SSCursor) 
cursor=connection.cursor() 
cursor.execute(query) 
for row in cursor: 
    print(row) 

Answer 2

Chắc chắn sử dụng SSCursor khi tìm nạp tập hợp kết quả lớn. Nó tạo ra một sự khác biệt rất lớn đối với tôi khi tôi gặp vấn đề tương tự. Bạn có thể sử dụng nó như thế này:

import MySQLdb 
import MySQLdb.cursors 

connection = MySQLdb.connect(
     host=host, port=port, user=username, passwd=password, db=database, 
     cursorclass=MySQLdb.cursors.SSCursor) # put the cursorclass here 
cursor = connection.cursor() 

Bây giờ bạn có thể thực hiện truy vấn của mình với cursor.execute() và sử dụng con trỏ làm trình lặp.

Chỉnh sửa: loại bỏ trình tự phát triển không cần thiết trong nhà, nhờ Denis!

Answer 3

Ngoài ra, bạn có thể sử dụng SSCursor bên ngoài đối tượng kết nối (nó là khá quan trọng khi bạn đã xác định kết nối và không muốn tất cả các kết nối sử dụng SSCursor làm lớp con trỏ).

import MySQLdb 
from MySQLdb.cursors import SSCursor # or you can use SSDictCursor 

connection = MySQLdb.connect(
     host=host, port=port, user=username, passwd=password, db=database) 
cursor = SSCursor(connection) 
cursor.execute(query) 
for row in cursor: 
    print(row)