Chiến lược tốt nhất để xử lý các tệp CSV lớn trong Apache Camel

Question

Tôi muốn phát triển một tuyến đường thăm dò một thư mục chứa các tệp CSV và cho mỗi tệp không thống nhất mỗi hàng bằng Bindy và xếp hàng trong activemq.

Vấn đề là các tệp có thể khá lớn (một triệu hàng) vì vậy tôi muốn xếp hàng một hàng tại một thời điểm, nhưng những gì tôi nhận được là tất cả các hàng trong java.util.ArrayList ở cuối của Bindy gây ra vấn đề về bộ nhớ.

Cho đến nay tôi có một thử nghiệm nhỏ và unmarshaling đang làm việc để cấu hình Bindy bằng cách sử dụng chú thích là ok.

Dưới đây là các tuyến đường:

from("file://data/inbox?noop=true&maxMessagesPerPoll=1&delay=5000") 
    .unmarshal() 
    .bindy(BindyType.Csv, "com.ess.myapp.core")   
    .to("jms:rawTraffic"); 

Môi trường là: Eclipse Indigo, Maven 3.0.3, Camel 2.8.0

Cảm ơn bạn

Answer 1

Nếu bạn sử dụng Splitter EIP sau đó bạn có thể sử dụng chế độ phát trực tuyến có nghĩa là Camel sẽ xử lý tệp theo từng hàng.

from("file://data/inbox?noop=true&maxMessagesPerPoll=1&delay=5000") 
    .split(body().tokenize("\n")).streaming() 
    .unmarshal().bindy(BindyType.Csv, "com.ess.myapp.core")   
    .to("jms:rawTraffic"); 

Answer 2

Đối với hồ sơ và cho những người dùng khác mà có thể đã tìm kiếm này càng nhiều càng tốt cho tôi, trong khi đó có vẻ là một phương pháp dễ dàng hơn mà cũng hoạt động tốt với useMaps:

CsvDataFormat csv = new CsvDataFormat() 
    .setLazyLoad(true) 
    .setUseMaps(true); 

from("file://data/inbox?noop=true&maxMessagesPerPoll=1&delay=5000") 
    .unmarshal(csv) 
    .split(body()).streaming() 
    .to("log:mappedRow?multiline=true");