Xử lý một tập kết quả SQL như một dòng Scala

Question

Khi tôi truy vấn một cơ sở dữ liệu và nhận được một trở về (chỉ-chỉ đọc) ResultSet, ResultSet hoạt động như một danh sách các hàng cơ sở dữ liệu.

Tôi đang cố gắng tìm một số cách để xử lý ResultSet này như Scala Stream. Điều này sẽ cho phép các hoạt động như filter, map, v.v. trong khi không tiêu tốn một lượng lớn RAM.

tôi thực hiện một phương pháp đuôi-đệ quy để trích xuất các mặt hàng cá nhân, nhưng điều này đòi hỏi tất cả các mục có trong bộ nhớ cùng một lúc, một vấn đề nếu ResultSet là rất lớn:

// Iterate through the result set and gather all of the String values into a list 
// then return that list 
@tailrec 
def loop(resultSet: ResultSet, 
     accumulator: List[String] = List()): List[String] = { 
    if (!resultSet.next) accumulator.reverse 
    else { 
    val value = resultSet.getString(1) 
    loop(resultSet, value +: accumulator) 
    } 
} 

Answer 1

tôi didn' t kiểm tra nó, nhưng tại sao nó sẽ không hoạt động?

new Iterator[String] { 
    def hasNext = resultSet.next() 
    def next() = resultSet.getString(1) 
}.toStream 

Answer 2

tôi cần một cái gì đó tương tự. Dựa trên câu trả lời rất mát mẻ elbowich, tôi quấn nó một chút, và thay vì chuỗi, tôi trả về kết quả (để bạn có thể nhận được bất kỳ cột)

def resultSetItr(resultSet: ResultSet): Stream[ResultSet] = { 
    new Iterator[ResultSet] { 
     def hasNext = resultSet.next() 
     def next() = resultSet 
    }.toStream 
    } 

tôi cần phải truy cập vào bảng siêu dữ liệu, nhưng điều này sẽ làm việc cho hàng bảng (có thể làm một stmt.executeQuery (sql) thay vì md.getColumns): function

val md = connection.getMetaData() 
val columnItr = resultSetItr(md.getColumns(null, null, "MyTable", null)) 
     val columns = columnItr.map(col => { 
     val columnType = col.getString("TYPE_NAME") 
     val columnName = col.getString("COLUMN_NAME") 
     val columnSize = col.getString("COLUMN_SIZE") 
     new Column(columnName, columnType, columnSize.toInt, false) 
     }) 

Answer 3

Utility cho câu trả lời @ elbowich của:

def results[T](resultSet: ResultSet)(f: ResultSet => T) = { 
    new Iterator[T] { 
    def hasNext = resultSet.next() 
    def next() = f(resultSet) 
    } 
} 

Cho phép bạn sử dụng suy luận kiểu. Ví dụ .:

stmt.execute("SELECT mystr, myint FROM mytable") 

// Example 1: 
val it = results(stmt.resultSet) { 
    case rs => rs.getString(1) -> 100 * rs.getInt(2) 
} 
val m = it.toMap // Map[String, Int] 

// Example 2: 
val it = results(stmt.resultSet)(_.getString(1)) 

Answer 4

Vì ResultSet chỉ là một đối tượng có thể thay đổi được lèo lái bởi tiếp theo, chúng ta cần phải xác định khái niệm riêng của chúng ta về một hàng bên cạnh. Chúng ta có thể làm như vậy với một chức năng đầu vào như sau:

class ResultSetIterator[T](rs: ResultSet, nextRowFunc: ResultSet => T) 
extends Iterator[T] { 

    private var nextVal: Option[T] = None 

    override def hasNext: Boolean = { 
    val ret = rs.next() 
    if(ret) { 
     nextVal = Some(nextRowFunc(rs)) 
    } else { 
     nextVal = None 
    } 
    ret 
    } 

    override def next(): T = nextVal.getOrElse { 
    hasNext 
    nextVal.getOrElse(throw new ResultSetIteratorOutOfBoundsException 
)} 

    class ResultSetIteratorOutOfBoundsException extends Exception("ResultSetIterator reached end of list and next can no longer be called. hasNext should return false.") 
} 

EDIT: Dịch dòng hay cái gì khác theo ở trên.

Answer 5

Điều này nghe có vẻ giống như một cơ hội tuyệt vời cho một lớp học ngầm định. Đầu tiên xác định các lớp tiềm ẩn ở đâu đó:

import java.sql.ResultSet 

object Implicits { 

    implicit class ResultSetStream(resultSet: ResultSet) { 

     def toStream: Stream[ResultSet] = { 
      new Iterator[ResultSet] { 
       def hasNext = resultSet.next() 

       def next() = resultSet 
      }.toStream 
     } 
    } 
} 

Tiếp theo, bạn chỉ cần nhập lớp ngầm này bất cứ nơi nào bạn đã thực hiện truy vấn của bạn và xác định đối tượng ResultSet:

import com.company.Implicits._ 

Cuối cùng lấy dữ liệu bằng cách sử dụng phương pháp toStream. Ví dụ: lấy tất cả các id như được hiển thị bên dưới:

val allIds = resultSet.toStream.map(result => result.getInt("id"))