Thực thi SQL trên tệp CSV qua JDBC

Question

Tôi cần áp dụng truy vấn SQL vào tệp CSV (tệp văn bản được phân cách bằng dấu phẩy). SQL của tôi được xác định trước từ một công cụ khác và không đủ điều kiện để thay đổi. Nó có thể chứa các lựa chọn nhúng và bí danh bảng trong phần FROM.

Đối với nhiệm vụ của tôi, tôi đã tìm thấy hai mã nguồn mở (đây là một yêu cầu dự án) thư viện cung cấp trình điều khiển JDBC:

1. CsvJdbc
2. XlSQL
3. JBoss Teiid
4. Tạo một Apache Derby DB, tải tất cả CSV dưới dạng bảng và thực hiện truy vấn.

Đây là những vấn đề tôi gặp phải:

1. nó không chấp nhận các cú pháp của SQL (nó sử dụng Lựa chọn nội và bí danh bảng). Hơn nữa, nó đã không được duy trì kể từ năm 2004.
2. Tôi không thể làm cho nó hoạt động, vì nó phụ thuộc vào một trình phân tích cú pháp SAX gây ra ngoại lệ khi phân tích các tài liệu khác. Tương tự, không có thay đổi nào kể từ năm 2004.
3. Chưa kiểm tra xem nó có hỗ trợ cú pháp hay không, nhưng có vẻ như là chi phí. Nó cần một số thực thể xác định (Cơ sở dữ liệu ảo, Bindings). Từ danh sách gửi thư, họ nói với tôi rằng bản phát hành cuối cùng hỗ trợ việc tạo các đối tượng cần thiết. Có ai sử dụng nó cho nhiệm vụ đơn giản như vậy (bình thường nó có thể kết nối với một số loại dữ liệu, như CSV, XML hoặc DBS khác và tạo một, một hợp nhất ảo)?
4. Điều này có thể thực hiện dễ dàng không?

Từ 4 điều tôi đã xem xét/thử, chỉ có 3 và 4 dường như khả thi. Bất kỳ lời khuyên nào về những cách này hoặc bất kỳ cách nào khác mà tôi có thể truy vấn tệp CSV của mình?

Cheers

Answer 1

Nếu SQL của bạn là xác định trước và không thể thay đổi lựa chọn tốt nhất của bạn là để tải CSV của bạn thành một cơ sở dữ liệu và chạy các truy vấn chống lại nó.

Apache Derby là một lựa chọn khả thi, vì vậy là MySQL, thậm chí có CSV storage engine hoặc PostgreSQL.

SQL của bạn có sử dụng bất kỳ chức năng/tiện ích mở rộng độc quyền nào không? Nếu có, điều đó có thể hạn chế lựa chọn của bạn.

Answer 2

Tôi muốn nói db được nhúng. Tôi muốn đề nghị hoặc Javadb (Derby được xây dựng trong Java API) hoặc H2 nếu bạn không quan tâm đến việc kéo phụ thuộc thêm.

Answer 3

Tôi sẽ tải dữ liệu vào HSQL (HypersonicSQL). Java thuần túy, đúng SQL, được chứng minh tốt. Khá nhiều thứ khác có dấu chân lớn hơn.

Answer 4

Có một tập lệnh Groovy, gcsvsql cho phép bạn xem các tệp csv dưới dạng các bảng cơ sở dữ liệu, bao gồm các kết nối. Với gcsvsql bạn có thể làm những việc như:

gcsvsql "select * from people.csv nơi tuổi> 40"

gcsvsql "chọn people.name, trẻ em.trẻ em từ people.csv, children.csv nơi people.name = children.name"

gcsvsql "chọn trung bình (điểm số) từ people.csv nơi tuổi < 40"

Bạn có thể tìm thấy kịch bản này, mà là dựa trên cơ sở dữ liệu h2, tại Google mã ở đây:

http://code.google.com/p/gcsvsql/

Answer 5

Nếu bạn đang muốn đối xử với file csv như cơ sở dữ liệu từ bên trong một chương trình Java, bạn nên nhìn vào h2 database engine. Nó có hỗ trợ thực sự tốt đẹp cho việc đọc/ghi các tập tin CSV và làm việc với cơ sở dữ liệu trong bộ nhớ. Nó là một kế thừa cho hsql, nhanh hơn và với các tính năng bổ sung. Bạn có thể đọc về hỗ trợ csv trong hướng dẫn h2.

Answer 6

có thể hơi muộn, xin lỗi vì điều đó.

Tôi đã phát triển csvjdbc trong hơn một năm nay và kể từ một vài tuần tôi đã có quyền "quản trị" trên dự án đó nên tôi có thể phát hành phiên bản mới nhất mà tôi đã tạo. nó làm tất cả "chúng ta" cần (chúng tôi: tôi và các đồng nghiệp hiện tại của tôi) cần, và tôi đang thêm những thứ như là lỗi được đệ trình.

hãy xem xét ngay bây giờ và quyết định lại. (tài liệu web vẫn cần xem xét, để có cái nhìn sâu sắc hơn, hãy kiểm tra các trường hợp thử nghiệm, rất rộng rãi).

Answer 7

tôi biết, đó là một trường hợp rất cũ, nhưng ...

CsvJdbc là một thư viện mát mẻ, nhưng có một số vấn đề sử dụng DbUtils khi ResultsSets bản đồ để POJO. Một điều xấu thứ hai là, rằng không có sự hỗ trợ tốt cho các kiểu dữ liệu khác nhau.

Sau khi chơi với CSVJdbc, tôi sẽ sử dụng một CsvParser ngu ngốc để đọc các tập tin bơm chúng vào một HsqlDB hoặc một cái gì đó như thế.