Cách chia nhỏ tệp CSV thành nhiều phần và đọc các đoạn đó song song trong mã Java

Question

Tôi có tệp CSV rất lớn (1GB +), nó có 100.000 dòng.

Tôi cần viết chương trình Java để phân tích từng dòng từ tệp CSV để tạo nội dung cho yêu cầu HTTP gửi đi.

Nói cách khác, tôi cần gửi 100.000 yêu cầu HTTP tương ứng với các dòng trong tệp CSV. Nó sẽ rất dài nếu tôi làm điều này trong một chủ đề duy nhất.

Tôi muốn tạo 1000 chuỗi để làm i) đọc một dòng từ tệp CSV, ii) tạo yêu cầu HTTP có nội dung chứa nội dung của dòng đọc và iii) gửi yêu cầu HTTP ra và nhận phản hồi.

Bằng cách này, tôi cần phải chia tệp CSV thành 1.000 đoạn và các đoạn đó sẽ không có các dòng chồng lên nhau.

Cách tốt nhất để thực hiện quy trình tách này là gì?

Answer 1

Đọc một tệp duy nhất tại nhiều vị trí đồng thời sẽ không cho phép bạn đi nhanh hơn (nhưng nó có thể làm chậm bạn xuống đáng kể).

Thay vì đọc tệp từ nhiều luồng, hãy đọc tệp từ một chuỗi và song song với việc xử lý của các dòng này. Một chuỗi đơn sẽ đọc dòng CSV của bạn, và đặt mỗi dòng trong một hàng đợi. Nhiều luồng làm việc sau đó sẽ lấy dòng tiếp theo từ hàng đợi, phân tích cú pháp, chuyển đổi thành yêu cầu và xử lý yêu cầu đồng thời khi cần. Việc chia tách công việc sau đó sẽ được thực hiện bởi một chuỗi duy nhất, đảm bảo rằng không có dòng hoặc chồng chéo bị thiếu.

Answer 2

Bạn có thể có một chuỗi đọc dòng CSV và xây dựng Danh sách các dòng đã đọc. Khi điều này đạt đến một số giới hạn, ví dụ: 100 dòng để chuyển thông tin này đến một hồ bơi có kích thước cố định để gửi theo yêu cầu.

Tôi nghi ngờ rằng trừ khi máy chủ của bạn có 1000 lõi, bạn có thể thấy rằng việc sử dụng 10-100 yêu cầu đồng thời nhanh hơn.

Answer 3

Có một chủ đề đọc từng dòng tệp và mỗi dòng đọc, đăng một tác vụ vào ExecutorService để thực hiện yêu cầu HTTP cho từng dòng.

Đọc tệp từ nhiều chuỗi sẽ không hoạt động, để đọc dòng thứ nhất n, trước hết bạn phải đọc tất cả các mục khác. (Nó có thể hoạt động theo lý thuyết nếu tệp của bạn chứa bản ghi có chiều rộng cố định, nhưng CSV không phải là định dạng chiều rộng cố định.)

Answer 4

đọc CSV tập tin trong chủ đề duy nhất khi bạn nhận được dòng đại biểu dòng này với một trong những Thread sẵn trong hồ bơi bằng cách xây dựng các đối tượng của Runnable Task của bạn và vượt qua nó để Executors'ssubmit(), mà sẽ được thực hiện đồng bộ.

public static void main(String[] args) throws IOException { 

     String fName = "C:\\Amit\\abc.csv"; 
     String thisLine; 
     FileInputStream fis = new FileInputStream(fName); 
     DataInputStream myInput = new DataInputStream(fis); 
     ExecutorService pool=Executors.newFixedThreadPool(1000); 
     int count = 0; // Concurrent request to Server barrier 

     while ((thisLine = myInput.readLine()) != null) { 
      if (count > 150) { 
       try { 
        Thread.sleep(100); 
        count = 0; 
       } catch (InterruptedException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
       } 
      } 

      pool.submit(new MyTask(thisLine)); 
      count++; 
     } 

    } 
} 

Đây Task:

class MyTask implements Runnable { 
     private String lLine; 
     public MyTask(String line) { 
      this.lLine=line; 

     } 

     public void run() { 
      // 1) Create Request lLine 
      // 2) send the HTTP request out and receive response 
     } 
} 

Answer 5

Java 8, dự kiến ​​phát hành trong tháng này, sẽ được cải thiện hỗ trợ cho điều này thông qua con suối song song và lambdas. tutorial của Oracle trên song song luồng có thể là điểm khởi đầu tốt.

Lưu ý rằng lỗ hổng ở đây là quá nhiều song song.Đối với ví dụ về việc truy xuất URL, có thể là một ý tưởng tốt để có số lượng cuộc gọi song song thấp. Quá nhiều song song có thể ảnh hưởng đến không chỉ băng thông và trang web bạn đang kết nối, nhưng bạn cũng sẽ gặp rủi ro khi chạy hết các bộ mô tả tệp, đó là một tài nguyên giới hạn nghiêm ngặt trong hầu hết các môi trường nơi java chạy.

Một số khung có thể giúp bạn là Netflix 'RxJava và Akka. Hãy lưu ý rằng các khung công tác này không tầm thường và sẽ nỗ lực học hỏi.