tạo xml tệp lớn trong ruby ​​

Question

Tôi muốn ghi một số dữ liệu vào tệp XML (tệp XML sẽ đến ~ 50 MB).

Tôi đã tìm thấy nokogiri (1.5.0) đá quý là nhất hiệu quả để phân tích cú pháp (Chỉ đọc và không viết). Nokogiri không phải là một lựa chọn tốt để ghi vào tập tin XML vì nó chứa dữ liệu XML hoàn chỉnh trong bộ nhớ cho đến khi nó ghi cuối cùng ghi lại nó.

Tôi đã tìm thấy người xây dựng (3.0.0) là một lựa chọn tốt nhưng không chắc chắn nếu đó là tùy chọn tốt nhất.

Tôi đã thử một số benchmark với mã đơn giản sau đây:

(1..500000).each do |k| 
    xml.products { 
     xml.widget { 
     xml.id_ k 
     xml.name "Awesome widget" 
     } 
    } 
    end 

Nokogiri mất khoảng 143 giây và cũng tiêu thụ bộ nhớ tăng dần và kết thúc cuối cùng vào khoảng 700 MB.

Trình tạo mất khoảng 123 giây và mức tiêu thụ bộ nhớ đủ ổn định ở mức 10 MB.

Vì vậy, có giải pháp nào tốt hơn để viết các tệp XML khổng lồ (50 MB) trong Ruby không?

Nokogiri file:

require 'rubygems' 
require 'nokogiri' 
a = Time.now 
builder = Nokogiri::XML::Builder.new do |xml| 
    xml.root { 
    (1..500000).each do |k| 
    xml.products { 
     xml.widget { 
     xml.id_ k 
     xml.name "Awesome widget" 
     } 
    } 
    end 
    } 
end 
o = File.new("test_noko.xml", "w") 
o.write(builder.to_xml) 
o.close 
puts (Time.now-a).to_s 

Builder file:

require 'rubygems' 
require 'builder' 
a = Time.now 
File.open("test.xml", 'w') {|f| 
xml = Builder::XmlMarkup.new(:target => f, :indent => 1) 

    (1..500000).each do |k| 
    xml.products { 
     xml.widget { 
     xml.id_ k 
     xml.name "Awesome widget" 
     } 
    } 
    end 

} 
puts (Time.now-a).to_s 

Answer 1

Giải pháp 1

Nếu tốc độ là mối quan tâm chính của bạn, tôi muốn chỉ cần sử dụng libxml-ruby (http://libxml.rubyforge.org/rdoc/) trực tiếp:

$ time ruby test.rb 

real 0m7.352s 
user 0m5.867s 
sys  0m0.921s 

Các api là khá thẳng về phía trước

require 'rubygems' 
require 'xml' 
doc = XML::Document.new() 
doc.root = XML::Node.new('root_node') 
root = doc.root 

500000.times do |k| 
    root << elem1 = XML::Node.new('products') 
    elem1 << elem2 = XML::Node.new('widget') 
    elem2['id'] = k.to_s 
    elem2['name'] = 'Awesome widget' 
end 

doc.save('foo.xml', :indent => false, :encoding => XML::Encoding::UTF_8) 

sử dụng: indent => đúng không làm được gì nhiều khác biệt trong trường hợp này, nhưng đối với file xml phức tạp hơn nó có thể làm.

$ thời gian ruby ​​test.rb # (với thụt lề)

real 0m7.395s 
user 0m6.050s 
sys  0m0.847s 

Giải pháp 2

Tất nhiên là giải pháp nhanh nhất, và điều đó không xây dựng trên bộ nhớ là chỉ để viết xml theo cách thủ công nhưng điều đó sẽ dễ dàng tạo ra các nguồn lỗi khác như xml không hợp lệ.

$ time ruby test.rb 

real 0m1.131s 
user 0m0.873s 
sys  0m0.126s 

đây là mã cho rằng:

f = File.open("foo.xml", "w") 
f.puts('<doc>') 
500000.times do |k| 
    f.puts "<product><widget id=\"#{k}\" name=\"Awesome widget\" /></product>" 
end 
f.puts('</doc>') 
f.close