Làm thế nào để tạo hình ảnh 3D bằng cách sử dụng MATLAB với công cụ hình ảnh?

Question

Làm cách nào để tạo hình ảnh lập thể 3D từ hình ảnh 2D bằng MATLAB?

Answer 1

Hoặc là tôi hiểu nhầm câu hỏi của bạn (mọi người đã chỉ ra rằng nó không rõ ràng), hoặc bạn hiểu nhầm cách thức hoạt động của 3D vision. Bạn không "nhìn thấy hình ảnh 2D bằng kính 3D". Tầm nhìn 3D đạt được bằng cách phục vụ hai hình ảnh khác nhau, hình ảnh bên trái và hình ảnh bên phải, tương ứng với mắt trái và mắt phải. Tại một mức độ cơ bản MATLAB không có bất cứ điều gì để làm với nó. Vì vậy, trong trường hợp không có một câu hỏi dễ hiểu hoặc mạch lạc, tốt nhất tôi có thể làm là giả sử bạn muốn một cái gì đó như this: bạn có một hình ảnh 2D, nhưng bạn vẫn muốn "nhìn vào định dạng hình ảnh 3d". Trong trường hợp đó, bạn cần phải bằng cách nào đó chia rằng hình ảnh duy nhất vào hai hình ảnh mới:

1. hình ảnh trái cho mắt trái
2. Hình bên phải cho mắt phải

Đây không phải là tầm thường. Nói chung, bạn bắt đầu bằng inferring the depth của mỗi pixel trong hình ảnh 2D. Vì bạn đang "đoán" thông tin về chiều sâu, hai hình ảnh mới sẽ không phải là một đại diện hoàn hảo của cảnh 3D.

Tiếp theo, bạn tách hình ảnh của mình thành các lớp bằng thông tin độ sâu đó. Đó là bản chất sẽ trông giống như một cutout pop-up từ cuốn sách dành cho trẻ em:

Các lớp hơn bạn có thể nghĩ ra, và chính xác hơn ước tính chiều sâu của bạn là, thực tế hơn đại diện 3D của bạn sẽ được .

Cuối cùng, bạn chiếu lớp đại diện đó trở lại 2D từ hai vị trí khác nhau - một cho mắt trái và một cho mắt phải. Điều này cung cấp cho bạn hai hình ảnh khác nhau mà bạn cần.

EDIT

Thứ hai video bạn liên kết với mô tả việc tạo đơn giản về những gì thường được gọi là một anaglyph image. Nó đòi hỏi kính 3D-cyan 3D - đây là không phải kính phân cực mà họ sử dụng trong hầu hết các rạp chiếu phim 3D ngay bây giờ. Lý do tôi nói đơn giản hóa là nó không phân biệt đối xử giữa nền trước và nền sau.

Để có hiệu quả tốt nhất, bạn sẽ tách nền trước ra khỏi nền và áp dụng cách tiếp cận chỉ cho nền trước. Điều này là do nền thường có chiều sâu vô hạn và không thay đổi khi đi từ mono sang tầm nhìn stereo. Trong trường hợp của piano, mọi thứ đều ít nhiều tiền cảnh, vì vậy cách tiếp cận này hoạt động.

Thuật toán video mô tả là:

• Bắt đầu với hai hình ảnh, im1 và im2. Chúng giống hệt nhau
• Đặt các kênh màu lục và màu xanh dương là im1 thành 0. Điều này sẽ tạo ra hình ảnh màu đỏ
• Đặt kênh màu đỏ là im2 thành 0. Điều này sẽ tạo ra hình ảnh lục lam.
• Bù đắp hai hình ảnh theo một số lượng được chỉ định (tùy thuộc vào độ sâu đối tượng) sao cho im1 ở bên trái và im2 ở bên phải. Bạn cần phải nhận đơn đặt hàng này một cách chính xác vì kính 3D-cyan 3D có màu đỏ ở bên trái và màu lục lam ở bên phải.
• Thực hiện bổ sung yếu tố khôn ngoan cho hai hình ảnh được dịch chuyển. Lưu ý rằng không có kênh nào sẽ bão hòa.

Dưới đây là một số Python/code OpenCV tôi đã viết:

import cv 
SHIFT=8 

if __name__ == '__main__': 
    import sys 
    _, fname = sys.argv 
    im = cv.LoadImage(fname) 

    size = cv.GetSize(im) 
    width, height = size 
    left = cv.CreateImage(size, im.depth, im.nChannels) 
    right = cv.CreateImage(size, im.depth, im.nChannels) 
    anaglyph = cv.CreateImage((width - SHIFT, height), im.depth, im.nChannels) 

    # 
    # This would be easier if we had COI support for cv.Set, but it doesn't 
    # work that way. 
    # OpenCV uses BGR order (even if input image is greyscale): 
    # http://www.cs.iit.edu/~agam/cs512/lect-notes/opencv-intro/opencv-intro.html 
    # red goes on the left, cyan on the right: 
    # http://en.wikipedia.org/wiki/Anaglyph_image 
    # 
    b = cv.CreateImage(size, im.depth, 1) 
    g = cv.CreateImage(size, im.depth, 1) 
    r = cv.CreateImage(size, im.depth, 1) 
    cv.Split(im, b, g, r, None) 

    zeros = cv.CreateImage(size, r.depth, 1) 
    cv.Merge(zeros, zeros, r, None, left) 
    cv.Merge(b, g, zeros, None, right) 

    # 
    # cvRect is (x, y, width, height) and it MUST be a tuple, not a list 
    # 
    cv.SetImageROI(left, (SHIFT, 0, width - SHIFT, height)) 
    cv.SetImageROI(right, (0,  0, width - SHIFT, height)) 
    cv.Add(left, right, anaglyph, None) 

    cv.SaveImage('anaglyph.jpeg', anaglyph) 

Dưới đây là một hình ảnh tương tự như những gì đang sử dụng trong video:

Dưới đây là kết quả:

Thật không may là tôi không có kính 3D-cyan 3D để xác minh rằng nó hoạt động. Nhưng có vẻ như nó nên, ít nhất là trong lý thuyết. Có lẽ ai đó có thể sửa tôi nếu tôi mắc lỗi.

Answer 2

Thao tác này dễ dàng hơn nhiều nếu bạn có hai hình ảnh được chụp từ các góc nhìn hơi khác nhau. Bạn có thể tạo anaglyph stereo bằng cách chỉnh sửa hai hình ảnh. Các chức năng liên quan là estimateUncalibratedRectifiation và stereoAnaglyph trong Hộp công cụ Hệ thống Tầm nhìn Máy tính. Xem ví dụ Uncalibrated Stereo Image Rectification.

Hoặc, bạn có thể hiệu chỉnh máy ảnh của mình bằng cách sử dụng Stereo Camera Calibrator app và sau đó sử dụng chức năng recifyStereoImages. Xem Stereo Calibration and Scene Reconstruction.