so sánh âm thanh với R

Question

Tôi đang làm việc trong một dự án mà nhiệm vụ của tôi đề cập đến so sánh giọng nói/âm thanh/giọng nói. Dự án này được sử dụng để đánh giá người chiến thắng trong các cuộc thi (bắt chước). Thực tế tôi cần nắm bắt giọng nói/giọng nói của người dùng và so sánh nó với tệp âm thanh gốc và trả lại phần trăm so khớp. Tôi cần phát triển điều này bằng ngôn ngữ R.

Tôi đã thử các gói liên quan đến giọng nói trong R (tuneR, audio, seewave) nhưng trong tìm kiếm của mình, tôi không thể nhận được thông tin liên quan so sánh.

Tôi cần một số trợ giúp từ các bạn, tôi có thể tìm thông tin liên quan đến công việc của mình, cách tốt nhất để xử lý loại sự cố này và nếu có, các điều kiện tiên quyết để xử lý loại âm thanh này là gì công việc.

Answer 1

• Về cơ bản, các tính năng tốt nhất được sử dụng để so sánh giọng nói/thoại là MFCC.

Có một số phần mềm có thể được sử dụng để trích xuất các hệ số: Praat website
Bạn cũng có thể cố gắng tìm một lib để trích xuất các hệ số này.
[Edit: Tôi đã tìm thấy trong tuneR documentation rằng nó có một chức năng để giải nén MFCC - tìm kiếm các chức năng melfcc()]

• Sau khi bạn đã chiết xuất các tính năng này, bạn có thể sử dụng Machine Learning (SVM, RandomForests hoặc một cái gì đó như thế) để phát triển một trình phân loại.

Tôi có một hội thảo mà tôi đã trình bày về Hệ thống nhận dạng loa, hãy nhìn vào nó, nó có thể hữu ích. (Seminar)

Nếu bạn có thời gian và sự quan tâm, bạn có thể algo đọc:
Authors: Kinnunen, T., & Li, H. (2010)
Paper: an overview of text-independent speaker recognition: From features to supervectors

Sau khi bạn nhận được một vector đặc trưng cho mỗi mẫu âm thanh (với MFCC và/hoặc các tính năng khác), sau đó bạn' sẽ cần phải so sánh cặp vectơ tính năng (tính năng từ Asotính năng từ B):
Bạn có thể cố gắng sử dụng sự khác biệt tuyệt đối giữa các tính năng đã ctors:

• abs (tính năng vector từ A - vector tính năng từ B)

Kết quả của các hoạt động trên là một vector đặc trưng mà mỗi phần tử là> = 0 và nó có cùng kích thước của vectơ A (hoặc B).

Bạn cũng có thể thử nghiệm các nhân tố khôn ngoan giữa các tính năng A và B:

• (A1 * B1, A2 * B2, ..., Một * Bn)

Sau đó, bạn cần phải dán nhãn cho mỗi tính năng vector
(1 nếu người A == người B và 0 nếu người A! = Người B).

Thông thường phần chênh lệch tuyệt đối hoạt động tốt hơn các vector đặc trưng nhân, nhưng bạn có thể thêm cả hai vectơ và kiểm tra việc thực hiện phân loại sử dụng cả abs diff và nhân tính năng cùng một lúc.