Nghịch đảo của cường độ chuẩn hóa trong hồi quy logistic là gì? Làm thế nào nó sẽ ảnh hưởng đến mã của tôi?

Question

Tôi đang sử dụng sklearn.linear_model.LogisticRegression trong scikit learn để chạy hồi quy logistic.

C : float, optional (default=1.0) Inverse of regularization strength; 
    must be a positive float. Like in support vector machines, smaller 
    values specify stronger regularization. 

C có nghĩa là gì ở đây đơn giản? Sức mạnh chuẩn hóa là gì?

Answer 1

Regularization áp dụng hình phạt để tăng cường độ của giá trị tham số để giảm overfitting. Khi bạn đào tạo một mô hình như mô hình hồi quy logistic, bạn đang lựa chọn các tham số cho phù hợp nhất với dữ liệu. Điều này có nghĩa là giảm thiểu lỗi giữa những gì mô hình dự đoán cho biến phụ thuộc của bạn cho dữ liệu của bạn so với những gì biến phụ thuộc của bạn thực sự là.

Sự cố xảy ra khi bạn có nhiều tham số (nhiều biến độc lập) nhưng không quá nhiều dữ liệu. Trong trường hợp này, mô hình sẽ thường điều chỉnh các giá trị tham số thành idiosyncrasies trong dữ liệu của bạn - điều đó có nghĩa là nó phù hợp với dữ liệu của bạn gần như hoàn hảo. Tuy nhiên, vì những idiosyncrasies không xuất hiện trong dữ liệu trong tương lai bạn thấy, mô hình của bạn dự đoán kém.

Để giải quyết điều này, cũng như giảm thiểu lỗi như đã thảo luận, bạn thêm vào những gì được thu nhỏ và cũng giảm thiểu một chức năng xử phạt các giá trị lớn của các tham số. Thông thường chức năng là λΣθ _j , đó là một số lần λ liên tục tổng các giá trị tham số bình phương q _j . Các larger lớn hơn là ít có khả năng là các thông số sẽ được tăng cường độ đơn giản để điều chỉnh cho các nhiễu loạn nhỏ trong dữ liệu. Tuy nhiên, trong trường hợp của bạn, thay vì chỉ định λ, bạn chỉ định C = 1/λ.

Answer 2

Có một câu trả lời hay trong ghi chú cs231n course từ stanford.

Notation:

Δ ám chỉ tôi tin rằng đến C trong việc thực hiện scikit-học. W là ma trận có trọng số λ là thông số chuẩn hóa.

Tôi đề nghị đi trên trang, nhưng cho đầy đủ đây là một trích dẫn có liên quan:

"Thiết Delta Lưu ý rằng chúng tôi chải qua hyperparameter Δ và thiết lập của nó giá trị gì nó nên được đặt thành.. Nó chỉ ra rằng siêu tham số này một cách an toàn có thể được thiết lập để Δ = 1.0 trong tất cả các trường hợp. cùng sự cân bằng: The sự cân bằng giữa mất mát dữ liệu và việc thường xuyên hóa mất mát trong mục tiêu. Chìa khóa để hiểu được điều này là độ lớn của trọng số WW có ảnh hưởng trực tiếp đến điểm số (và do đó cũng có sự khác biệt của chúng): Khi chúng ta thu hẹp tất cả các giá trị bên trong W, số điểm khác nhau sẽ giảm xuống, và khi chúng ta mở rộng trọng số của sự khác biệt số điểm tất cả sẽ trở nên cao hơn. Do đó, giá trị chính xác của lề giữa các điểm số (ví dụ:Δ = 1, hoặc Δ = 100) ở một số cảm giác vô nghĩa vì trọng số có thể co lại hoặc kéo dài sự khác biệt khác biệt. Do đó, sự cân bằng thực duy nhất là lớn như thế nào chúng tôi cho phép các trọng để phát triển (thông qua sức mạnh quy tắc λ)."

Các lấy đi được về cơ bản mà phụ thuộc vào việc thực hiện bạn cần phải điều chỉnh Δ hoặc λ và họ kiểm soát mức độ thông thường. Không cần phải "điều chỉnh" cả hai!