Kết hợp phản hồi của người dùng trong mô hình ML

Question

Tôi đã phát triển một mô hình ML để phân loại (0/1) nhiệm vụ NLP và triển khai nó trong môi trường sản xuất. Dự đoán của mô hình được hiển thị cho người dùng và người dùng có tùy chọn đưa ra phản hồi (nếu dự đoán là đúng/sai).

Tôi có thể liên tục kết hợp phản hồi này trong mô hình của mình bằng cách nào? Từ điểm đứng UX, bạn không muốn người dùng sửa/dạy hệ thống nhiều hơn hai lần/ba lần cho một đầu vào cụ thể, hệ thống sẽ tìm hiểu nhanh tức là để shld phản hồi được kết hợp "nhanh". (Hộp thư ưu tiên của Google thực hiện điều này một cách liền mạch)

Làm cách nào để xây dựng "vòng phản hồi" này mà hệ thống của tôi có thể cải thiện? Tôi đã tìm kiếm rất nhiều trên mạng nhưng không thể tìm thấy tài liệu có liên quan. bất kỳ con trỏ nào sẽ giúp ích rất nhiều.

Vui lòng không nói đào tạo lại mô hình từ đầu bằng cách bao gồm các điểm dữ liệu mới. Thats chắc chắn không phải là cách google và facebook xây dựng hệ thống thông minh của họ

Để giải thích thêm câu hỏi của tôi - hãy nghĩ đến bộ dò spam của google hoặc hộp thư ưu tiên của họ hoặc tính năng "trả lời thông minh" gần đây của họ. Một thực tế nổi tiếng là họ có khả năng tìm hiểu/kết hợp nguồn cấp dữ liệu người dùng (nhanh).

Tất cả thời gian khi kết hợp phản hồi của người dùng nhanh (nghĩa là người dùng phải dạy hệ thống đầu ra chính xác tối đa 2-3 lần cho mỗi điểm dữ liệu và hệ thống bắt đầu cung cấp đầu ra chính xác cho điểm dữ liệu đó) nó duy trì các bài học cũ và không bắt đầu đưa ra các kết quả đầu ra sai trên các điểm dữ liệu cũ hơn (nơi mà nó đưa ra kết quả đầu ra ngay) trong khi kết hợp việc học từ điểm dữ liệu mới.

tôi đã không tìm thấy bất kỳ blog/tài liệu/thảo luận wrt làm thế nào để xây dựng hệ thống như vậy -. Một hệ thống thông minh, giải thích trong vòng lặp detaieedback" trong hệ thống ML

Hy vọng câu hỏi của tôi là ít rõ ràng hơn bây giờ

cập nhật: Một số câu hỏi có liên quan tôi thấy là:

• Does the SVM in sklearn support incremental (online) learning?

• https://datascience.stackexchange.com/questions/1073/libraries-for-online-machine-learning

• http://mlwave.com/predicting-click-through-rates-with-online-machine-learning/

• https://en.wikipedia.org/wiki/Concept_drift

Cập nhật: Tôi vẫn không có một câu trả lời cụ thể nhưng như một công thức không tồn tại. Đọc phần "Học từ phản hồi" trong blog sau Machine Learning != Learning Machine. Trong Jean này nói về "thêm một vòng lặp phản hồi nhập vào máy". Tương tự trong here, here, tại đây 4.

Answer 1

Xây dựng một (các) mô hình đơn giản, nhẹ có thể được cập nhật cho mỗi phản hồi. Học máy trực tuyến cung cấp cho một số ứng cử viên cho số

Hầu hết các trình phân loại trực tuyến tốt đều tuyến tính.Trong trường hợp này chúng ta có thể có một vài trong số họ và đạt được phi tuyến tính bằng cách kết hợp chúng thông qua một mạng lưới thần kinh nhỏ nông

https://stats.stackexchange.com/questions/126546/nonlinear-dynamic-online-classification-looking-for-an-algorithm

Answer 2

Có thể có vài cách để làm điều này:

1) Bạn có thể kết hợp phản hồi mà bạn nhận được từ người dùng để chỉ đào tạo lớp cuối cùng của mô hình, giữ nguyên trọng lượng của tất cả các lớp khác. Trực giác, ví dụ, trong trường hợp của CNN điều này có nghĩa là bạn đang trích xuất các tính năng bằng cách sử dụng mô hình của bạn nhưng hơi điều chỉnh phân loại để giải thích cho các đặc thù của người dùng cụ thể của bạn.

2) Một cách khác có thể là có một mô hình toàn cầu (được đào tạo về tập huấn luyện lớn của bạn) và hồi quy logistic đơn giản mà người dùng cụ thể. Đối với các dự đoán cuối cùng, bạn có thể kết hợp các kết quả của hai dự đoán. Xem this paper của google về cách họ làm điều đó cho hộp thư ưu tiên của họ.