Thuật toán để dựng lại khuôn mặt 3D

Question

Dự án: Tái tạo khuôn mặt 3D

Đầu vào: Mặt trước 2D Đầu ra hình ảnh: Khuôn mặt 3D Mô phỏng lại và biểu hiện Nền tảng: Matlab hoặc Opencv cpp.

Tôi phát hiện ra sau khi nghiên cứu thuật toán Mô hình biến đổi 3D (3DMM) là một điểm khởi đầu tốt cho dự án của tôi. Nhưng tôi không có Mô hình khuôn mặt Basel (Cơ sở dữ liệu khuôn mặt 3D) để triển khai thuật toán. Tuy nhiên, tôi đã tải xuống GavabDB từ http://gavab.escet.urjc.es/recursos_en.html. Tôi có thể phát triển 3DMM bằng cách sử dụng GavabDB để dựng lại khuôn mặt 3D từ hình ảnh phía trước không? Sau khi đọc tập dữ liệu mô tả doc, tôi quan sát thấy rằng Gavab không cung cấp dữ liệu Texture của các lần quét 3D; dữ liệu kết cấu là bắt buộc?

Chất lượng đầu ra có phụ thuộc vào cơ sở dữ liệu 3D được sử dụng để lập mô hình không?

Answer 1

original morphable model cũng như Mô hình khuôn mặt Basel, từ cùng một nhà nghiên cứu chính, có chứa kết cấu cũng như hình học.

Hoàn toàn có thể tính toán phần hình học của Mô hình có thể biến đổi từ dữ liệu hình học 3D mà không có kết cấu. Điều này cung cấp cho bạn một mô hình nắm bắt các biến thể có ý nghĩa thống kê nhất trong hình dạng.

Tuy nhiên, việc khớp mô hình hình học thuần túy với hình ảnh mặt 2D khó khăn hơn so với mô hình có kết cấu. Đó là bản chất đòi hỏi bạn phải ...

1. xác định (hoặc chú thích) các địa điểm của một số điểm mang tính bước ngoặt trong hình ảnh khuôn mặt của bạn 2D
2. tối ưu hóa cho 3D gây ra và các thông số hình dạng mang lại những điểm mốc tương ứng trong Morphable 3D mô hình gần với các mốc được chú thích của bạn sau khi chiếu bằng máy ảnh không xác định.

Đây là một vấn đề thú vị, nhưng không phải là vấn đề nhỏ nhặt. Đối với bước 2, tôi khuyên bạn nên bắt đầu bằng cách giả sử chiếu hình ảnh.

Về câu hỏi chất lượng đầu ra của bạn: Nếu bạn có đủ số lượng mô hình 3D trong cơ sở dữ liệu của mình, quá trình quét riêng lẻ không phải có chất lượng đặc biệt cao. Tiếng ồn sẽ không hiển thị trong các thành phần chính của mô hình mà bạn thực sự sẽ sử dụng. Tuy nhiên, các lỗ hổng trong quét vẫn là một vấn đề.

Cuối cùng nhưng không kém phần quan trọng, hãy để tôi trơ trẽn chỉ cho bạn một số paper Tôi đã viết cách đây vài năm. Nó không giải quyết vấn đề của bạn, nhưng nó có chứa một phần trên lắp một mô hình biến hình 3D (chỉ hình học) vào một hình bóng khuôn mặt 2D được trích xuất từ ​​một bức ảnh.