upsert số lượng lớn với Ruby on Rails

Question

Tôi có một ứng dụng Rails 3, nơi tôi cần phải nhập một tệp XML được cung cấp bởi một hệ thống bên ngoài vào cơ sở dữ liệu Postgres. Tôi muốn sử dụng một cái gì đó như ActiveRecord-Import nhưng điều này không xuất hiện để xử lý khả năng upsert cho Postgres, và một số hồ sơ tôi sẽ được ingesting đã tồn tại, nhưng sẽ cần phải được cập nhật.

Hầu hết những gì tôi đọc đều khuyên bạn nên viết SQL ngay lập tức, nhưng điều này có vẻ như một vấn đề có thể đã được giải quyết rồi. Tôi không thể tìm thấy nó.

Cảm ơn.

Answer 1

Điều hai bước của nó. Trước tiên, bạn cần tìm nạp tệp XML. Nếu nó được cung cấp bởi một người dùng thông qua một biểu mẫu may mắn cho bạn nếu không bạn cần phải lấy nó bằng cách sử dụng tiêu chuẩn HTTP lib của ruby ​​hoặc nếu không một số đá quý như cơ giới hóa (thực sự thực sự tuyệt vời)

Điều thứ hai thực sự dễ dàng. Bạn đọc tất cả các XML vào một chuỗi và sau đó bạn có thể chuyển đổi nó thành một băm với pice mã này:

Hash.from_xml(xml_string) 

Sau đó, bạn có thể phân tích và làm việc với các dữ liệu ...

Answer 2

Bạn có thể làm upserting trên MySQL và PostgreSQL với upsert.

Nếu bạn đang tìm kiếm tốc độ thô, bạn có thể sử dụng nokogiri và upsert.

Có thể nhập dữ liệu dễ dàng hơn bằng cách sử dụng data_miner, sử dụng nokogiri và upsert nội bộ.

Answer 3

Nếu bạn đang sử dụng PostgreSQL 9.1, bạn nên sử dụng các biểu thức bảng phổ biến có thể ghi. Một cái gì đó như:

WITH updates (id) AS (
    UPDATE mytable SET ..... 
     WHERE .... 
    RETURNING id 
) 
INSERT INTO mytable (....) 
SELECT ... 
    FROM mytemptable 
WHERE id NOT IN (select id from updates); 

Trong trường hợp này, bạn sẽ cố gắng cập nhật các bản ghi từ cám dỗ theo logic của bạn, sau đó chèn phần còn lại.