Lặp lại bộ sưu tập lớn ở MongoDB qua số liệu mùa xuân

Question

Bạn bè!

Tôi đang sử dụng MongoDB trong dự án java qua dữ liệu mùa xuân. Tôi sử dụng giao diện Repository để truy cập dữ liệu trong bộ sưu tập. Đối với một số xử lý, tôi cần phải lặp qua tất cả các phần tử của bộ sưu tập. Tôi có thể sử dụng phương thức fetchAll của kho lưu trữ, nhưng nó luôn trả về ArrayList.

Tuy nhiên, có nghĩa là một trong các bộ sưu tập sẽ lớn - tối đa 1 triệu bản ghi ít nhất một kilobyte mỗi bộ. Tôi cho rằng tôi không nên sử dụng fetchAll trong các trường hợp như vậy, nhưng tôi không thể tìm thấy các phương thức tiện lợi nào trả về một số iterator (có thể cho phép thu thập một phần), cũng như các phương thức thuận tiện với callbacks.

Tôi chỉ thấy hỗ trợ để truy xuất các bộ sưu tập đó trong các trang. Tôi tự hỏi liệu đó có phải là cách duy nhất để làm việc với những bộ sưu tập như vậy không?

Answer 1

Trả lời chậm, nhưng có thể sẽ giúp ai đó trong tương lai ..) Dữ liệu mùa xuân không cung cấp bất kỳ API nào để bọc Mongo DB Cursor khả năng. Nó sử dụng nó trong các phương thức find, nhưng luôn trả về danh sách các đối tượng đã hoàn thành. Tùy chọn là sử dụng Mongo API trực tiếp hoặc sử dụng mùa xuân dữ liệu Paging API, một cái gì đó như thế:

 final int pageLimit = 300; 
     int pageNumber = 0; 
     Page<T> page = repository.findAll(new PageRequest(pageNumber, pageLimit)); 
     while (page.hasNextPage()) { 
      processPageContent(page.getContent()); 
      page = repository.findAll(new PageRequest(++pageNumber, pageLimit)); 
     } 
     // process last page 
     processPageContent(page.getContent()); 

Answer 2

Một cách khác:

do{ 
    page = repository.findAll(new PageRequest(pageNumber, pageLimit)); 
    pageNumber++; 

}while (!page.isLastPage()); 

Answer 3

Kiểm tra phương pháp mới để xử lý kết quả của mỗi cơ sở tài liệu.

http://docs.spring.io/spring-data/mongodb/docs/current/api/org/springframework/data/mongodb/core/MongoTemplate.html#executeQuery-org.springframework.data.mongodb.core.query.Query-java.lang.String-org.springframework.data.mongodb.core.DocumentCallbackHandler-

Answer 4

Sử dụng MongoTemplate :: dòng() như lẽ là wrapper Java thích hợp nhất để DBCursor

Answer 5

bạn vẫn có thể sử dụng mongoTemplate để truy cập bộ sưu tập và chỉ cần sử dụng DBCursor:

 DBCollection collection = mongoTemplate.getCollection("boundary"); 
    DBCursor cursor = collection.find();   
    while(cursor.hasNext()){ 
     DBObject obj = cursor.next(); 
     Object object = obj.get("polygons"); 
     .. 
     ... 
    } 

Answer 6

Bạn có thể muốn thử cách DBCursor như sau:

DBObject query = new BasicDBObject(); //setup the query criteria 
    query.put("method", method); 
    query.put("ctime", (new BasicDBObject("$gte", bTime)).append("$lt", eTime)); 

    logger.debug("query: {}", query); 

    DBObject fields = new BasicDBObject(); //only get the needed fields. 
    fields.put("_id", 0); 
    fields.put("uId", 1); 
    fields.put("ctime", 1); 

    DBCursor dbCursor = mongoTemplate.getCollection("collectionName").find(query, fields); 

    while (dbCursor.hasNext()){ 
     DBObject object = dbCursor.next(); 
     logger.debug("object: {}", object); 
     //do something. 
    } 

Answer 7

Streams như con trỏ:

@Query("{}") 
Stream<Alarm> findAllByCustomQueryAndStream(); 

Vì vậy, đối với số lượng lớn các dữ liệu bạn có thể dòng họ và xử lý từng dòng nhưng không giới hạn bộ nhớ