Hình ảnh cong vênh OpenCV dựa trên calcOpticalFlowFarneback

Question

Tôi đang cố gắng thực hiện một hình ảnh phức tạp của hình ảnh bằng cách sử dụng Lưu lượng quang dày đặc (Tôi đang cố gắng để wap hình ảnh thứ hai vào cùng hình dạng với hình ảnh đầu tiên). Tôi có thể nhận được tất cả điều này sai nhưng Ill đăng lên những gì tôi đã cố gắng:

cv::Mat flow; 
cv::calcOpticalFlowFarneback(mGrayFrame1, mGrayFrame2, flow, 0.5, 3, 15, 3, 5, 1.2, 0); 

cv::Mat newFrame = cv::Mat::zeros(frame.rows, frame.cols, frame.type()); 
cv:remap(frame, newFrame, flow, cv::Mat(), CV_INTER_LINEAR); 

Ý tưởng nếu tôi tính toán dòng chảy từ 2 khung thang màu xám. Tôi lấy lại một dòng chảy mat mà có vẻ hợp lý nhưng bây giờ tôi đang cố gắng để remap hình ảnh ban đầu của tôi (tức là không màu xám) bằng cách sử dụng thông tin dòng chảy này.

Tôi giả định rằng chức năng remap là những gì tôi muốn nhưng tôi nhận được một hình ảnh rất bị bóp méo từ nó. Không có thông tin màu nào của tôi tồn tại. Tôi chỉ đơn giản là kết thúc với một hình ảnh màu cam và màu đen mang một chút giống với hình ảnh ban đầu của tôi.

Tôi đoán rằng tôi là sự hiểu lầm chức năng remap và nó hoặc là không làm những gì tôi muốn nó làm hoặc tôi nhận được một cái gì đó sai trái với những gì tôi đang đi qua trong.

Nếu trước đây có ai có bất cứ đề nghị như thế nào tôi có thể giải quyết vấn đề này? Nếu sau này, tôi đang làm gì sai?

Bất kỳ trợ giúp nào được đánh giá cao!

Answer 1

Chức năng remap không thể hoạt động với luồng quang. Chức năng remap biến đổi hình ảnh nguồn bằng cách sử dụng bản đồ quy định:

dst(x, y) = src(mapx(x, y), mapy(x, y)) 

dòng quang có một công thức:

frame1(x, y) = frame2(x + flowx(x, y), y + flowy(x, y)) 

Vì vậy, để sử dụng remap chức năng đầu tiên bạn cần phải tạo ra một bản đồ từ dòng chảy:

Mat flow; // backward flow 
calcOpticalFlowFarneback(nextFrame, prevFrame, flow); 

Mat map(flow.size(), CV_32FC2); 
for (int y = 0; y < map.rows; ++y) 
{ 
    for (int x = 0; x < map.cols; ++x) 
    { 
     Point2f f = flow.at<Point2f>(y, x); 
     map.at<Point2f>(y, x) = Point2f(x + f.x, y + f.y); 
    } 
} 

Mat newFrame; 
remap(prevFrame, newFrame, map);