Cách đơn giản nhất để tạo bộ dò đối tượng trên C++ với Fast/Faster-RCNN là gì?

Question

Cách đơn giản nhất để tạo bộ dò đối tượng trên C++ với Fast/Faster-RCNN và Caffe là gì?

Được biết, chúng ta có thể sử dụng theo RCNN (Region-dựa Convolutional Neural Networks) với Caffe:

• RCNN: https://github.com/BVLC/caffe/blob/be163be0ea5befada208dbf0db29e6fa5811dc86/python/caffe/detector.py#L174

• nhanh RCNN: https://github.com/rbgirshick/fast-rcnn/blob/master/tools/demo.py#L89

scores, boxes = im_detect(net, im, obj_proposals) thực hiện cuộc gọi def im_detect(net, im, boxes):

cho điều này sử dụng rbgirshick/caffe-fast-rcnn, ROIPooling-lớp và đầu ra bbox_pred

• nhanh hơn RCNN: https://github.com/rbgirshick/py-faster-rcnn/blob/master/tools/demo.py#L82

scores, boxes = im_detect(net, im) thực hiện cuộc gọi def im_detect(net, im, boxes=None):

cho sử dụng này rbgirshick/caffe-fast-rcnn, ROIPooling lớp và đầu ra bbox_pred

Tất cả đều sử dụng Python và Caffe, nhưng cách thực hiện trên C++ và Caffe?

Chỉ có C++ ví dụ để phân loại (phải nói gì về hình ảnh), nhưng không có cho detecton (phải nói gì và ở đâu trên hình ảnh): https://github.com/BVLC/caffe/tree/master/examples/cpp_classification

Có đủ để chỉ đơn giản là sao chép rbgirshick/py-faster-rcnn kho với rbgirshick/caffe-fast-rcnn, tải xuống mô hình có sẵn ./data/scripts/fetch_faster_rcnn_models.sh, sử dụng coco/VGG16/faster_rcnn_end2end/test.prototxt này và thực hiện thay đổi nhỏ trong CaffeNet C++ Classification example?

Và làm cách nào để lấy dữ liệu đầu ra từ hai lớp bbox_pred và cls_score?

sẽ tôi có đầy đủ (bbox_pred & cls_score) trong một mảng:

const vector<Blob<float>*>& output_blobs = net_->ForwardPrefilled(); 
Blob<float>* output_layer = output_blobs[0]; 
    const float* begin = output_layer->cpu_data(); 
    const float* end = begin + output_layer->channels(); 
    std::vector<float> bbox_and_score_array(begin, end); 

Hoặc trong hai mảng?

const vector<Blob<float>*>& output_blobs = net_->ForwardPrefilled(); 

Blob<float>* bbox_output_layer = output_blobs[0]; 
    const float* begin_b = bbox_output_layer ->cpu_data(); 
    const float* end_b = begin_b + bbox_output_layer ->channels(); 
    std::vector<float> bbox_array(begin_b, end_b); 

Blob<float>* score_output_layer = output_blobs[1]; 
    const float* begin_c = score_output_layer ->cpu_data(); 
    const float* end_c = begin_c + score_output_layer ->channels(); 
    std::vector<float> score_array(begin_c, end_c); 

Answer 1

cho những người bạn vẫn đang tìm kiếm, có phiên bản C++ nhanh hơn RCNN với caffe trong project này. Bạn thậm chí có thể tìm thấy một api C++ để đưa nó vào dự án của bạn. Tôi đã thử nghiệm thành công nó.