hệ thống đề xuất dựa trên xếp hạng sử dụng NDCG để đánh giá độ chính xác của Đề xuất. Tuy nhiên, đôi khi tỷ lệ chính xác và tỷ lệ thu hồi được sử dụng để đánh giá đề xuất hàng đầu. Có nghĩa là khi NDCG cao, tỷ lệ chính xác cao? Nhưng tôi chạy thuật toán ListRankMF, tỷ lệ chính xác rất thấp trên dữ liệu movelens 100k, chỉ khoảng 8%. Mối quan hệ giữa NDCG và tỷ lệ chính xác là gì?Tại sao khuyến nghị dựa trên xếp hạng sử dụng NDCG?
NDCG hữu ích nhất khi mục tiêu của hệ thống giới thiệu là trả về một số kết quả có liên quan và thứ tự là quan trọng. Ví dụ: giới thiệu bản dịch hoặc đề xuất tài khoản ngân hàng. Nó không có hại nếu chúng ta bỏ lỡ kết quả có liên quan, nhưng để có trải nghiệm người dùng tốt, chúng tôi muốn chúng theo thứ tự có ý nghĩa.
Gọi lại hữu ích nhất khi mục tiêu của hệ thống giới thiệu là trả lại tất cả các kết quả có liên quan và thứ tự không quan trọng. Ví dụ, một chẩn đoán y tế tiềm năng hoặc theo toa. Nó là có hại nếu chúng ta bỏ lỡ một kết quả có liên quan, vì đó có thể là chẩn đoán hoặc chữa bệnh đúng. Trình tự này không quan trọng vì chúng tôi hy vọng các bác sĩ sẽ đọc qua tất cả các khả năng và sử dụng kiến thức chuyên môn của họ cho quyết định cuối cùng.
Giả sử có 5 loại thuốc chúng tôi có thể đề nghị bác sĩ cho bệnh nhân (từ A đến E) và 5 mà chúng tôi không khuyến cáo (F đến J). Hệ thống giới thiệu của chúng tôi đưa ra các khuyến nghị A, B, C, D. Điều này cho phép chúng ta đánh giá như sau:
Trong trường hợp này nhớ lại rõ ràng cho thấy chúng tôi đã không làm tốt như chúng ta có thể (vì chúng tôi không khuyên bạn nên thuốc E), trong khi NDCG dẫn chúng ta đến tin rằng chúng tôi đã đưa ra các khuyến nghị hoàn hảo.
Nếu chúng tôi thay vào đó giới thiệu sách, thì NDCG sẽ phù hợp hơn. Nhớ lại không quá nhiều thông tin vì có thể có hàng trăm cuốn sách có liên quan, nhưng chúng tôi không thể mong đợi người dùng đọc qua danh sách hàng trăm cuốn sách để chỉ chọn một cuốn sách để đọc. NDCG sẽ cho chúng tôi biết nếu chúng tôi ít nhất đề xuất một số tập hợp có ý nghĩa về những gì có thể.