Chức năng bước so với chức năng Sigmoid

Question

Tôi không hiểu tại sao chức năng sigmoid được xem là hữu ích hơn (đối với mạng thần kinh) so với chức năng bước ... hy vọng ai đó có thể giải thích điều này cho tôi. Cảm ơn trước.

Answer 1

(Heaviside) step function thường chỉ hữu ích trong phạm vi single-layer perceptrons, một loại mạng thần kinh ban đầu có thể được sử dụng để phân loại trong trường hợp dữ liệu đầu vào là linearly separable.

Tuy nhiên, multi-layer neural networks or multi-layer perceptrons có nhiều sở thích hơn vì chúng là các hàm xấp xỉ hàm chung và chúng có thể phân biệt dữ liệu không tách biệt tuyến tính.

Perceptrons nhiều lớp được đào tạo sử dụng backpropapagation. Yêu cầu cho backpropagation là một hàm kích hoạt differentiable. Đó là bởi vì backpropagation sử dụng gradient descent trên chức năng này để cập nhật trọng số mạng.

Chức năng bước Heaviside không khác biệt ở x = 0 và đạo hàm của nó là ở nơi khác. Điều này có nghĩa là độ dốc gốc sẽ không thể tiến bộ trong việc cập nhật trọng số và backpropagation sẽ thất bại.

sigmoid or logistic function không có thiếu sót này và điều này giải thích tính hữu ích của nó như là một chức năng kích hoạt trong lĩnh vực mạng thần kinh.

Answer 2

Tùy thuộc vào sự cố bạn đang xử lý. Trong trường hợp phân loại nhị phân đơn giản, một hàm bước là thích hợp. Sigmoids có thể hữu ích khi xây dựng mạng lưới sinh học thực tế hơn bằng cách giới thiệu tiếng ồn hoặc không chắc chắn. Việc sử dụng khác sigmoids khác nhưng hoàn toàn khác nhau là để tiếp tục số, tức là khi thực hiện phân tích phân nhánh đối với một số tham số trong mô hình. Tiếp tục số là dễ dàng hơn với các hệ thống trơn tru (và rất phức tạp với những người không trơn tru).