Lệnh như SQL LIMIT trong HBase

Question

HBase có bất kỳ lệnh nào hoạt động như truy vấn SQL LIMIT không?

Tôi có thể làm điều đó bằng setStart và setEnd, nhưng tôi không muốn lặp lại tất cả các hàng.

Answer 1

Từ HBase shell bạn có thể sử dụng LIMIT:

hbase> scan 'test-table', {'LIMIT' => 5} 

Từ Java API bạn có thể sử dụng Scan.setMaxResultSize(N) hoặc scan.setMaxResultsPerColumnFamily(N).

• HBase API docs - Scan.setMaxResultSize
• HBase API docs - Scan.setMaxResultsPerColumnFamily

Answer 2

Có một bộ lọc gọi là PageFilter. Nó có nghĩa là cho mục đích này.

Scan scan = new Scan(Bytes.toBytes("smith-")); 
scan.addColumn(Bytes.toBytes("personal"), Bytes.toBytes("givenName")); 
scan.addColumn(Bytes.toBytes("contactinfo"), Bytes.toBytes("email")); 
scan.setFilter(new PageFilter(25)); 
ResultScanner scanner = table.getScanner(scan); 
for (Result result : scanner) { 
    // ... 
} 

http://java.dzone.com/articles/handling-big-data-hbase-part-4

Answer 3

Nếu ai sử dụng HBase Shell, lệnh sau đây có thể được sử dụng để giới hạn kết quả truy vấn: "giới hạn" phải được đặt trong dấu nháy đơn.

scan 'table-name', {'LIMIT' => 10} 

Answer 4

Cách đảm bảo là thực hiện giới hạn ở phía máy khách, bên trong vòng lặp lặp. Đây là cách tiếp cận được thực hiện trong HBase Ruby Shell. Từ table.rb ($ HBASE_HOME/HBase vỏ/src/main/ruby ​​/ HBase/table.rb): Dòng 467:

# Start the scanner 
    scanner = @table.getScanner(_hash_to_scan(args)) 
    iter = scanner.iterator 

    # Iterate results 
    while iter.hasNext 
    if limit > 0 && count >= limit 
     break 
    end 

    row = iter.next 
    ... 
end 

Nó có thể được thực hiện hiệu quả hơn một chút bằng cách thêm scan.setFilter (mới PageFilter (giới hạn)) và scan.setCaching (giới hạn), và sau đó table.getScanner (quét). Bộ lọc trang sẽ đảm bảo rằng mỗi máy chủ vùng sẽ trả về ở hầu hết các hàng giới hạn, giới hạn bộ đệm quét sẽ đảm bảo rằng mỗi máy chủ vùng sẽ đọc trước và bộ nhớ cache ở hầu hết các hàng 'giới hạn' và sau đó kiểm tra giới hạn vòng lặp của máy khách có thể phá vỡ vòng lặp sau nhận các hàng 'giới hạn' đầu tiên theo thứ tự mà khách hàng nhận được.