Psycopg2, Postgresql, Python: Cách nhanh nhất để chèn hàng loạt

Question

Tôi đang tìm cách hiệu quả nhất để chèn hàng loạt hàng triệu bộ dữ liệu vào cơ sở dữ liệu. Tôi đang sử dụng Python, PostgreSQL và psycopg2.

Tôi đã tạo danh sách dài các loại hoa tulip cần được chèn vào cơ sở dữ liệu, đôi khi với các công cụ sửa đổi như hình học Simplify.

Cách ngây thơ để làm điều đó sẽ là chuỗi định dạng danh sách INSERT báo cáo, nhưng có ba phương pháp khác mà tôi đã đọc về:

1. Sử dụng pyformat binding style để chèn tham số
2. Sử dụng executemany trên danh sách các bộ dữ liệu và
3. Bằng cách ghi kết quả vào một tệp và sử dụng COPY.

Dường như cách đầu tiên hiệu quả nhất, nhưng tôi sẽ đánh giá cao thông tin chi tiết và đoạn mã của bạn cho tôi biết cách thực hiện đúng.

Answer 1

Vâng, tôi sẽ bỏ phiếu cho COPY, cung cấp cho bạn có thể ghi tệp vào máy chủ của ổ cứng (không phải ổ đĩa mà ứng dụng đang chạy) vì COPY sẽ chỉ đọc máy chủ.

Answer 2

Người đầu tiên và người thứ hai sẽ được sử dụng cùng nhau, chứ không phải riêng biệt. Thứ ba sẽ là máy chủ hiệu quả nhất mặc dù, vì máy chủ sẽ làm tất cả các công việc khó khăn.

Answer 3

Có một số psycopg2 manual mới chứa các ví dụ cho tất cả các tùy chọn.

Tùy chọn COPY là hiệu quả nhất. Sau đó, các thực thi. Sau đó, thực hiện với pyformat.

Answer 4

Bạn có thể sử dụng a new upsert library:

$ pip install upsert 

(bạn có thể phải pip install decorator đầu tiên)

conn = psycopg2.connect('dbname=mydatabase') 
cur = conn.cursor() 
upsert = Upsert(cur, 'mytable') 
for (selector, setter) in myrecords: 
    upsert.row(selector, setter) 

đâu selector là một đối tượng dict như {'name': 'Chris Smith'} và setter là một dict như { 'age': 28, 'state': 'WI' }

Đó là gần như nhanh bằng cách viết mã INSERT tùy chỉnh [/ UPDATE] và chạy trực tiếp bằng psycopg2 ... và nó sẽ không phát sinh nếu hàng đã tồn tại.

Answer 5

trong kinh nghiệm của tôi executemany không phải là nhanh hơn bất kỳ chạy nhiều chèn mình, cách nhanh nhất là để định dạng một đĩa đơn INSERT với nhiều giá trị bản thân, có lẽ trong tương lai executemany sẽ cải thiện nhưng bây giờ nó là khá chậm

tôi phân lớp một list và quá tải phương pháp append, vì vậy khi một danh sách đạt đến một kích thước nhất định tôi định dạng INSERT để chạy nó

Answer 6

Sau một số thử nghiệm, unnest thường dường như là một lựa chọn cực kỳ nhanh chóng, như tôi đã học được từ @Clodoaldo Neto của answer cho một câu hỏi tương tự.

data = [(1, 100), (2, 200), ...] # list of tuples 

cur.execute("""CREATE TABLE table1 AS 
       SELECT u.id, u.var1 
       FROM unnest(%s) u(id INT, var1 INT)""", (data,)) 

Tuy nhiên, nó can be tricky with extremely large data.

Answer 7

Bất cứ ai sử dụng SQLAlchemy có thể thử phiên bản 1.2 có thêm sự ủng hộ của số lượng lớn chèn sử dụng psycopg2.extras.execute_batch() thay vì executemany khi bạn khởi động cơ của bạn với use_batch_mode = True như:

engine = create_engine(
    "postgresql+psycopg2://scott:tiger@host/dbname", 
    use_batch_mode=True) 

http://docs.sqlalchemy.org/en/latest/changelog/migration_12.html#change-4109

Sau đó, ai đó sẽ phải sử dụng SQLalchmey sẽ không bận tâm để thử kết hợp khác nhau của sqla và psycopg2 và SQL trực tiếp với nhau.