Cập nhật hàng triệu hàng trong MySQL - khi nào cam kết

Question

Tôi có vòng lặp for mà trải qua hàng triệu đối tượng. Cách đề xuất để cam kết điều này là gì? Dưới đây là một vài ví dụ mà tôi đã nghĩ đến:

# after each 
for item in items: 
    cursor.execute() 
    conn.commit() 

# at the end 
for item in items: 
    cursor.execute() 
conn.commit() 

# after N items 
for n, item in enumerate(items): 
    cursor.execute() 
    if n % N == 0: 
     conn.commit() 
conn.commit() 

Điều nào ở trên sẽ hiệu quả nhất?

Answer 1

Bạn đang hỏi, tôi nên cam kết ...

1. chỉ một lần vào cuối hoạt động khổng lồ
2. sau mỗi lần cập nhật hàng
3. sau mỗi lần N mặt hàng.

Trước hết, nếu bạn đang làm việc với MyISAM, đừng lo lắng về điều đó. MyISAM không thực hiện giao dịch.

Nếu hệ thống của bạn không bị hỏng bằng cách cam kết chỉ một số thay đổi hàng của bạn, bạn nên cam kết sau mỗi N mục. Đó là bởi vì cam kết sau mỗi mục sẽ làm chậm quá trình xử lý của bạn rất nhiều. Chỉ cam kết một lần vào cuối của hoạt động rất lớn có khả năng hoặc là để thổi ra không gian rollback của bạn, hoặc mất một thời gian dài không thể đoán được trong thời gian đó người dùng cơ sở dữ liệu khác của bạn sẽ có sự chậm lại.

Tôi đã trải qua vô số lần này. Bất kỳ N lớn hơn khoảng 20 sẽ làm tốt.

Answer 2

Có thể cho rằng "ở cuối" một, kể từ khi bạn BEGIN và COMMIT chỉ một lần và đó là một giao dịch duy nhất với phạm vi riêng của mình. Nó dễ dàng hơn từ quan điểm đồng thời: về cơ bản giao dịch nói: đây là bảng của tôi bây giờ, không chạm vào nó bất cứ ai.

Nếu bạn cam kết nhiều lần (hai giải pháp còn lại), bạn BEGIN và COMMIT giao dịch nhiều lần (có giao dịch tiếp theo bắt đầu ngay sau khi bạn cam kết). Điều này có nghĩa là nhiều cơ hội bị gián đoạn từ các hoạt động DB đang diễn ra khác. Ngoài ra - những hoạt động đó mất thời gian.

Tuy nhiên, bạn nên chạy điểm chuẩn mô phỏng trường hợp sử dụng của mình. Tôi muốn được tò mò muốn biết nếu tùy thuộc vào một số điều kiện (số hàng để chèn, cấu hình phiên, loại dữ liệu, chỉ mục được sử dụng) một hoặc các giải pháp khác có thể chiếm ưu thế.