Android Asynctask để xử lý các khung hình video trực tiếp

Question

Tôi đang sử dụng OpenCV để cố gắng thực hiện một số xử lý video trực tiếp. Vì quá trình xử lý khá nặng nên nó làm chậm đáng kể khung hình đầu ra, làm cho luồng trực tiếp bị biến dạng.

Tôi muốn giảm bớt một số quá trình xử lý thành AsyncTask. Tôi đã thử nó và nó thực sự làm cho video mượt mà hơn nhiều. Tuy nhiên, nó kết thúc việc bắt đầu một lượng lớn Công việc cùng một lúc, và sau đó họ sẽ dần dần bắt đầu trở lại với một số kết quả.

Có cách nào để làm chậm điều này xuống và chờ kết quả, bằng cách sử dụng các câu lệnh Đồng bộ hóa hoặc một số phương pháp khác không?

Trên mỗi khung máy ảnh, tôi bắt đầu một trong các tác vụ này. DoImgProcessing thực hiện xử lý dài và trả về một kết quả chuỗi.

private class LongOperation extends AsyncTask<Mat, Void, String> { 

    @Override 
    protected String doInBackground(Mat... params) { 
     Mat inputFrame = params[0]; 
     cropToCenter(inputFrame); 
     return doImgProcessing(inputFrame); 
    }  

    @Override 
    protected void onPostExecute(String result) { 
     Log.d(TAG, "on post execute: "+result); 

    } 

    @Override 
    protected void onPreExecute() { 
     Log.d(TAG, "on pre execute"); 
    } 
} 

public Mat onCameraFrame(Mat inputFrame) { 
    inputFrame.copyTo(mRgba);//this will be used for the live stream 
    LongOperation op = new LongOperation(); 
    op.execute(inputFrame); 
    return mRgba; 
} 

Answer 1

tôi sẽ làm một cái gì đó như thế:

// Example value for a timeout. 
private static final long TIMEOUT = 1000L; 

private BlockingQueue<Mat> frames = new LinkedBlockingQueue<Mat>(); 

Thread worker = new Thread() { 
    @Override 
    public void run() { 
     while (running) { 
      Mat inputFrame = frames.poll(TIMEOUT, TimeUnit.MILLISECONDS); 
      if (inputFrame == null) { 
       // timeout. Also, with a try {} catch block poll can be interrupted via Thread.interrupt() so not to wait for the timeout. 
       continue; 
      } 
      cropToCenter(inputFrame); 
      String result = doImgProcessing(inputFrame); 
     } 
    } 
}; 
worker.start(); 

public Mat onCameraFrame(Mat inputFrame) { 
    inputFrame.copyTo(mRgba);//this will be used for the live stream 
    frames.put(inputFrame); 
    return mRgba; 
} 

Các onCameraFrame đặt khung trên Queue, các cuộc thăm dò công nhân Chủ đề từ Queue.

Trang trí này tiếp nhận và xử lý khung. Bạn có thể theo dõi sự tăng trưởng của Hàng đợi bằng cách sử dụng frames.size().

Đây là ví dụ điển hình cho người tiêu dùng sản xuất.

Answer 2

Nếu bạn làm điều này trên mỗi khung hình, có vẻ như bạn cần một chuỗi thay thế. AsyncTask là khi bạn muốn thực hiện một hoạt động một lần trên một luồng khác. Ở đây bạn muốn làm điều đó nhiều lần. Chỉ cần tạo một chuỗi, và khi nó kết thúc một khung, nó sẽ gửi một thông báo tới một trình xử lý để chạy bước đăng trên luồng giao diện người dùng. Nó có thể chờ đợi trên một semaphore ở đầu vòng lặp của nó cho khung tiếp theo để sẵn sàng.