Mô hình Markov ẩn cho nhiều biến quan sát

Question

Tôi đang cố gắng sử dụng mô hình Markov ẩn (HMM) cho một vấn đề mà tôi có các biến quan sát khác nhau (Yti) và một biến ẩn (Xt) tại mỗi thời điểm, t. Để rõ ràng, chúng ta hãy giả sử tất cả các biến quan sát (Yti) là phân loại, trong đó mỗi Yti truyền tải thông tin khác nhau và như vậy có thể có các hồng y khác nhau. Một ví dụ minh họa được đưa ra trong hình bên dưới, trong đó M = 3.

Mục tiêu của tôi là đào tạo chuyển đổi, khí thải và xác suất trước của một HMM, bằng cách sử dụng thuật toán Baum-Welch, từ chuỗi biến quan sát của tôi (YTI). Giả sử, Xt ban đầu sẽ có 2 trạng thái ẩn.

Tôi đã đọc một vài hướng dẫn (bao gồm cả giấy Rabiner nổi tiếng) và đã trải qua các mã của một vài gói phần mềm HMM, cụ thể là 'HMM Toolbox trong Matlab' và 'gói hmmpytk bằng Python'. Nhìn chung, tôi đã thực hiện tìm kiếm trên web rộng lớn và tất cả các tài nguyên mà tôi có thể tìm thấy - chỉ bao gồm trường hợp, trong đó chỉ có một biến quan sát duy nhất (M = 1) tại mỗi thời điểm. Điều này càng khiến tôi nghĩ rằng HMM không phù hợp với các tình huống có nhiều biến quan sát.

• Có thể mô hình vấn đề được mô tả trong hình dưới dạng HMM không?
• Nếu có, làm cách nào có thể sửa đổi thuật toán Baum-Welch để phục vụ cho việc đào tạo các tham số HMM dựa trên xác suất quan trắc đa (phát xạ) đa biến?
• Nếu không, bạn có biết phương pháp nào phù hợp hơn cho tình huống được mô tả trong hình không?

Cảm ơn.

Edit: Trong paper này, tình hình được miêu tả trong hình được mô tả như một Naive Bayes động, mà -trong về công tác đào tạo và lập dự toán algorithms- đòi hỏi một phần mở rộng nhẹ để thuật toán Baum-Welch và Viterbi cho một HMM đơn biến.

Answer 1

Cách đơn giản nhất để thực hiện việc này và giữ mô hình vẫn mang tính tổng quát, là làm cho y_i có điều kiện độc lập với x_is. Điều này dẫn đến các ước lượng tầm thường, và tương đối ít tham số, nhưng là một giả định khá hạn chế trong một số trường hợp (về cơ bản là dạng HMM của trình phân loại Naive Bayes).

EDIT: ý nghĩa của điều này. Đối với mỗi timestep i, bạn có một quan sát đa biến y_i = {y_i1...y_in}. Bạn đối xử với y_ij như là điều kiện độc lập cho x_i, do đó:

p(y_i|x_i) = \prod_j p(y_ij | x_i) 

bạn sau đó một cách hiệu quả học tập một bộ phân loại Bayes ngây thơ cho mỗi giá trị có thể có của các ẩn biến x. (Điều kiện độc lập là quan trọng ở đây: có các phụ thuộc trong số vô điều kiện phân phối của y). Điều này có thể được học với EM tiêu chuẩn cho một HMM.

Bạn cũng có thể, như một commenter nói, đối xử với các nối của y_ijs như một quan sát đơn lẻ, nhưng nếu chiều của bất kỳ biến j là vượt quá tầm thường này sẽ dẫn đến một nhiều các thông số, và bạn sẽ cần thêm dữ liệu đào tạo.

Bạn có cần mô hình cụ thể để sinh sản không? Nếu bạn chỉ tìm kiếm suy luận trong số x_is, có thể bạn sẽ được phục vụ tốt hơn với một số conditional random field, thông qua các tính năng của nó có thể có các quan sát phức tạp hơn nhiều mà không có giả định hạn chế về độc lập.

Answer 2

Tôi thấy rằng điều này có thể đạt được bằng cách lập mô hình hệ thống là Phân loại động Naive Bayes (DNB), là một phần mở rộng nhỏ của HMM thông thường (đơn biến) có thể phục vụ cho các kịch bản đa quan sát thể hiện trong hình.

Cần lưu ý rằng DNB vẫn có trạng thái ẩn và do đó không được coi là mở rộng tuần tự trực tiếp của trình phân loại Naive Bayes gốc. 'Ngây thơ' trong tên của thuật toán bắt nguồn từ thực tế là tất cả các biến quan sát đều độc lập với nhau, với biến trạng thái ẩn.

Tương tự như HMM, các ước tính tham số của mô hình này có thể đạt được thông qua thuật toán Baum Welch (hoặc EM, tùy theo bạn thích đặt tên). Do phân bố phát xạ ở mỗi bước thời gian bây giờ là sản phẩm của P (Yti | Xt) của mỗi biến quan sát Yti, các phương trình biến hướng, lùi, và biến cần phải được sửa đổi một chút như được mô tả trong phần 3 của số này paper Arriaga et al.

Answer 3

bạn có thể mô hình hóa vấn đề bằng cách sử dụng tensors cấu trúc một tensor sử dụng chuỗi thời gian hai và sau đó xác định các tham số HMM. "Ẩn Markov Model Identifiability qua Tensors" là một tài liệu tham khảo tốt cho việc này.

Matlab cung cấp hộp công cụ tensor.

FYI, tôi đang làm việc trên một vấn đề liên quan để cảm thấy tự do để gửi email cho tôi nếu bạn muốn thảo luận một cách riêng tư hơn

Answer 4

Bạn có thể thử ẩn mô hình bán Markov đó là một phần mở rộng của hmm. Nó cho phép mỗi trạng thái kéo dài trong nhiều khoảng thời gian.

Answer 5

Điều bạn đang tìm kiếm được gọi là Cấu trúc Perceptron. Hãy xem phần trượt sau trên trang 42. http://www.cs.umd.edu/class/fall2015/cmsc723/slides/inclass_09.pdf