Cách quản lý tập dữ liệu lớn bằng cách sử dụng Spring MySQL và RowCallbackHandler

Question

Tôi đang cố gắng đi qua từng hàng của bảng trong MySQL bằng Spring và JdbcTemplate. Nếu tôi không nhầm điều này phải đơn giản như:

JdbcTemplate template = new JdbcTemplate(datasource); 
template.setFetchSize(1); 
// template.setFetchSize(Integer.MIN_VALUE) does not work either    
template.query("SELECT * FROM cdr", new RowCallbackHandler() { 
    public void processRow(ResultSet rs) throws SQLException { 
    System.out.println(rs.getString("src")); 
    } 
}); 

Tôi nhận được lỗi OutOfMemoryError vì nó đang cố đọc toàn bộ. Bất kỳ ý tưởng?

Answer 1

Các Statement#setFetchSize()javadoc đã khẳng định:

Cung cấp cho các trình điều khiển JDBC một gợi ý như số lượng hàng cần được lấy từ cơ sở dữ liệu

Trình điều khiển thực sự miễn phí để áp dụng hoặc bỏ qua gợi ý. Một số trình điều khiển bỏ qua nó, một số trình điều khiển áp dụng nó trực tiếp, một số trình điều khiển cần thêm thông số. Trình điều khiển JDBC MySQL nằm trong thể loại cuối cùng. Nếu bạn đánh dấu vào MySQL JDBC driver documentation, bạn sẽ thấy các thông tin sau (di chuyển về 2/3 xuống cho đến khi tiêu đề ResultSet):

Để kích hoạt chức năng này, bạn cần phải tạo một đối tượng Statement trong những điều sau đây cách:

stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY); 
stmt.setFetchSize(Integer.MIN_VALUE); 

Hãy đọc toàn bộ phần của tài liệu, nó mô tả những hãy cẩn thận của phương pháp này là tốt.

Để làm cho nó hoạt động trong Spring, tuy nhiên bạn sẽ cần phải mở rộng/ghi đè lên JdbcTemplate với triển khai tùy chỉnh. Như tôi không làm mùa xuân tôi không thể đi vào chi tiết về điều này, nhưng bây giờ bạn ít nhất biết nơi để tìm.

Chúc may mắn.

Answer 2

Nếu bạn nghi ngờ bạn đang gặp lỗi OutOfMemory do toàn bộ bảng đã đọc, tại sao bạn không thử tách truy vấn của mình. Sử dụng bộ lọc, LIMIT khoản, vv

Answer 3

Đây là giải pháp Mùa xuân dựa trên số answer do BalusC cung cấp.

class StreamingStatementCreator implements PreparedStatementCreator { 
    private final String sql; 

    public StreamingStatementCreator(String sql) { 
     this.sql = sql; 
    } 

    @Override 
    public PreparedStatement createPreparedStatement(Connection connection) throws SQLException { 
     final PreparedStatement statement = connection.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); 
     statement.setFetchSize(Integer.MIN_VALUE); 
     return statement; 
    } 
} 

Một nơi nào đó trong mã của bạn:

DataSource dataSource = ...; 
RowCallbackHandler rowHandler = ...; 
JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource); 
jdbcTemplate.query(new StreamingStatementCreator("SELECT * FROM huge_table"), rowHandler);