Tại sao BIAS là cần thiết trong ANN? Chúng ta có nên có BIAS riêng biệt cho mỗi lớp không?

Question

Tôi muốn thực hiện một mô hình dự đoán phản ứng tương lai của tín hiệu đầu vào, kiến ​​trúc của mạng của tôi là [3, 5, 1]:

• 3 đầu vào,
• 5 nơron trong lớp ẩn và
• 1 nơron trong lớp đầu ra.

Câu hỏi của tôi là:

1. Chúng ta có nên có BIAS riêng cho mỗi lớp ẩn và đầu ra?
2. Chúng ta có nên gán trọng số cho BIAS ở mỗi lớp (khi BIAS trở thành giá trị gia tăng cho mạng của chúng ta và gây ra gánh nặng cho mạng)?
3. Tại sao BIAS luôn được đặt thành một? Nếu eta có các giá trị khác nhau, tại sao chúng ta không đặt BIAS với các giá trị khác nhau?
4. Tại sao chúng ta luôn sử dụng hàm log sigmoid cho các hàm phi tuyến tính, chúng ta có thể sử dụng tanh?

Answer 1

Vì vậy, tôi nghĩ rằng điều này sẽ rõ ràng hơn nếu chúng tôi quay lại và thảo luận về vai trò của đơn vị thiên vị có nghĩa là để chơi trong một NN.

Đơn vị thiên vị có nghĩa là cho phép các đơn vị trong mạng của bạn tìm hiểu ngưỡng thích hợp (tức là sau khi đạt được tổng số đầu vào nhất định, bắt đầu gửi kích hoạt dương), vì thông thường, tổng đầu vào dương có nghĩa là kích hoạt dương.

Ví dụ: nếu đơn vị thiên vị của bạn có trọng số -2 với một số nơron x, thì nơron x sẽ cung cấp kích hoạt dương nếu tất cả các đầu vào khác cộng lại lớn hơn -2.

Vì vậy, với điều đó làm nền, câu trả lời của bạn:

1. Không, một thiên vị đầu vào phải lúc nào cũng đủ, vì nó có thể ảnh hưởng đến tế bào thần kinh khác nhau khác nhau tùy thuộc vào trọng lượng của nó với từng đơn vị.
2. Nói chung, có trọng số thiên vị đến mọi đơn vị không đầu vào là một ý tưởng hay, vì nếu không, các đơn vị không có trọng số thiên vị sẽ có ngưỡng sẽ luôn bằng 0.
3. Kể từ ngưỡng, khi đã học nên nhất quán trong các thử nghiệm. Hãy nhớ sự thiên vị thể hiện cách mỗi đơn vị tương tác với đầu vào; nó không phải là đầu vào.
4. Bạn chắc chắn có thể và nhiều người làm. Bất kỳ chức năng sqaushing thường hoạt động như một chức năng kích hoạt.