Phát hiện video gần giống nhau

Question

Tôi đang tìm một dự án mã nguồn mở có thể giải quyết vấn đề phát hiện video gần trùng lặp. Tốt nhất, mà tôi đã tìm thấy bây giờ là SOTU, nhưng nguồn của nó đã bị đóng. Vậy, có giải pháp nguồn mở nào không?

Ngoài ra, tôi sẽ rất biết ơn đối với một số liên kết về phần lý thuyết của vấn đề này.

Answer 1

Dưới đây là một dự án gần như bản sao: INDetector bởi DVMM Lab, U Columbia (nguồn có sẵn, không phải nguồn chính xác mở Tôi nghĩ). Ngoài ra còn có some info on applying that to video (chủ yếu trên khung hình chính).

Ngoài ra còn có pHash, thư viện "băm nhận thức" nguồn mở cho hình ảnh.

Ngoài ra còn có IMMI, một plugin khai thác hình ảnh nguồn mở cho RapidMiner.

Bất kỳ điều nào trong số này cũng có thể được áp dụng cho video cũng như hình ảnh bằng cách xử lý tất cả các khung hoặc khung đã chọn (ví dụ: khung hình chính) làm đầu vào cho thuật toán, và sau đó tổng hợp kết quả cho sự giống nhau của các cặp khung. .

Bạn cũng có thể cố gắng liên lạc với các tác giả của UQLIPS (Shen et al, được trích dẫn bên dưới).

Ngoài ra, hãy xem danh sách các mục nhập TRECVID, một số năm đã phát hiện gần trùng lặp như một trong các tác vụ và bạn có thể liên lạc với một số nhóm này và nhận phần mềm.

Nếu bạn muốn tự theo đuổi điều này, việc triển khai bản mẫu của bất kỳ thuật toán được xuất bản nào sẽ khá dễ dàng. Tôi khuyên bạn nên sử dụng một số thuật toán đơn giản trên dữ liệu mà bạn quan tâm và (b) sử dụng một số loại quy trình bỏ phiếu/bỏ phiếu để kết hợp các kết quả đầu ra của họ, dựa trên quan sát tốt hơn một thuật toán phức tạp duy nhất trong các loại vấn đề này.

Ngoài ra, hãy xem Earth Movers Distance (trên biểu đồ màu, gradient, ...) để trích xuất đối tượng đơn giản (trên tất cả các khung hoặc chỉ trên các khung được chọn). Điều này có thể được thực hiện thuận tiện với một vài dòng mã trong python/numpy/scipy/pyopencv.

sau Ba là có lẽ là giấy tờ được trích dẫn nhất trong lĩnh vực này, tất cả các nhóm nghiên cứu khác nhau:

1. Yang, J., Y. G. Giang, A. G. Hauptmann, và C. W. Ngô. “Đánh giá các hình ảnh của các từ đại diện trong phân loại cảnh.” Trong các bài viết của Hội thảo quốc tế về Hội thảo về Thu hồi thông tin đa phương tiện, 197–206, 2007. http://dl.acm.org/citation.cfm?id=1290111.

2. Shen, H. T., X. Zhou, Z. Huang, J. Shao và X. Zhou. “UQLIPS: Hệ thống phát hiện clip video gần như trùng lặp thời gian thực”. Trong Kỷ yếu Hội nghị quốc tế lần thứ 33 về các căn cứ dữ liệu rất lớn, 1374–1377, 2007. http://dl.acm.org/citation.cfm?id=1326018.

3. Wu, X., A. G. Hauptmann và C. W. Ngo. “Thực tiễn loại bỏ những người gần trùng lặp khỏi Tìm kiếm video trên web.” Trong Kỷ yếu Hội nghị quốc tế lần thứ 15 về đa phương tiện, 218–227, 2007. http://dl.acm.org/citation.cfm?id=1291280.

Yang và cộng sự cũng giống như phương pháp được sử dụng trong SOTU.

Answer 2

Tôi nghĩ thư viện AForge.NET sẽ hữu ích cho bạn. Họ có một thành phần sẽ cho phép bạn thực hiện phát hiện chuyển động mà về cơ bản là một "so sánh" so với nền "lý thuyết" của môi trường.

Tôi chắc chắn bạn có thể sử dụng một số công việc cơ bản của AForge.NET và tăng tốc nghiên cứu của bạn đối với việc phát hiện video trùng lặp.

Hope this helps,

Chúc may mắn