Làm cách nào để nhập * khối dữ liệu khổng lồ vào PostgreSQL?

Question

Tôi có một cấu trúc dữ liệu mà trông như thế này:

Model Place 
    primary key "id" 

    foreign key "parent" -> Place 
    foreign key "neighbor" -> Place (symmetryc) 
    foreign key "belongtos" -> Place (asymmetric) 

    a bunch of scalar fields ... 

tôi có hơn 5 triệu hàng trong bảng mô hình, và tôi cần phải chèn ~ 50 triệu hàng vào mỗi hai bảng chính nước ngoài. Tôi có SQL file mà trông như thế này:

INSERT INTO place_belongtos (from_place_id, to_place_id) VALUES (123, 456); 

và họ sắp 7 Gb mỗi. Vấn đề là, khi tôi làm psql < belongtos.sql, tôi mất khoảng 12 giờ để nhập ~ 4 triệu hàng trên CPU AMD Turion64x2 của tôi. Hệ điều hành là Gentoo ~ amd64, PostgreSQL là phiên bản 8.4, được biên dịch cục bộ. Các dir dữ liệu là một gắn kết gắn kết, nằm trên phân vùng mở rộng thứ hai của tôi (ext4), mà tôi tin rằng không phải là nút cổ chai.

Tôi nghi ngờ mất nhiều thời gian để chèn quan hệ khóa ngoài vì psql kiểm tra các ràng buộc chính cho mỗi hàng, có thể thêm một số chi phí không cần thiết, vì tôi biết chắc chắn rằng dữ liệu hợp lệ. Có cách nào để tăng tốc quá trình nhập, tức là tạm thời vô hiệu hóa kiểm tra ràng buộc không?

Answer 1

1. Hãy chắc chắn rằng cả hai ràng buộc khoá ngoại là DEFERRABLE
2. Sử dụng COPY để tải dữ liệu của bạn
3. Nếu bạn không thể sử dụng COPY, sử dụng một prepared statement cho INSERT của bạn.
4. Cài đặt cấu hình Propper cũng sẽ trợ giúp, kiểm tra cài đặt WAL.

Answer 2

Câu trả lời là có ... Depesz wrote an article here on deferrable uniqueness. tiếc là nó có vẻ là một tính năng 9.0.

hmm ... Có thể bài viết đó không áp dụng cho trường hợp của bạn? Dường như chúng tôi đã có thể set constraints to deferred trong một thời gian ... Tôi đoán rằng duy nhất là một tình huống duy nhất (chơi chữ dự định).