2010-02-02 50 views
5

Tôi đã thấy một vài lần mọi người sử dụng -1 thay vì 0 khi làm việc với mạng nơron cho dữ liệu đầu vào. Làm thế nào là tốt hơn và nó có hiệu lực bất kỳ của toán học để thực hiện nó?Mạng thần kinh 0 vs -1

Edit: Sử dụng feedforward và lưng prop

Chỉnh sửa 2: Tôi đưa cho nó một đi nhưng mạng ngừng học vì vậy tôi giả định toán học sẽ phải thay đổi nơi nào đó?

Chỉnh sửa 3: Cuối cùng tìm thấy câu trả lời. Toán học cho nhị phân khác với lưỡng cực. Xem câu trả lời của tôi dưới đây.

Trả lời

7

Gần đây, thấy công thức phái sinh sigmoid và sigmoid cần thay đổi nếu sử dụng lưỡng cực trên nhị phân.

lưỡng cực sigmoid Chức năng: f(x) = -1 + 2/(1 + e^-x)

lưỡng cực sigmoid Derivative: f’(x) = 0.5 * (1 + f(x)) * (1 – f(x))

+0

cảm ơn những gì tôi đang tìm kiếm :) – rflood89

+0

Nhìn vào liên kết này để tham khảo: http://www.aforgenet.com/framework/docs/html/c4a0095a-0465-4931-63e7-4c0cdbe2eacc.htm – Goaler444

+0

cảm ơn đã được tring đến vây tại sao mạng lưới của tôi sẽ không đào tạo với các mục tiêu lưỡng cực, nhận ra signoid không phải là lưỡng cực nhưng không thể tìm thấy đạo hàm, làm việc tuyệt vời ngay bây giờ. – Dampsquid

0

Đó là thời gian dài, nhưng khi tôi nhớ lại, nó không ảnh hưởng đến toán học cần thiết để triển khai mạng (giả sử bạn không làm việc với loại mạng vì lý do nào đó giới hạn bất kỳ phần nào của quy trình thành giá trị không âm). Một trong những ưu điểm là nó tạo ra sự khác biệt lớn hơn giữa các yếu tố đầu vào và giúp khuếch đại tín hiệu học tập. Tương tự cho kết quả đầu ra.

Một người nào đó đã thực hiện việc này gần đây có thể có nhiều điều để nói hơn (như về việc liệu việc giao cắt 0 có tạo ra sự khác biệt hay không; tôi nghĩ là vậy). Và trong thực tế một số điều này phụ thuộc vào chính xác loại mạng thần kinh bạn đang sử dụng. Tôi giả sử bạn đang nói về backprop hoặc một biến thể của nó.

+0

Yep sử dụng backprop. Tôi có thể hiểu rằng đầu vào có trọng số sẽ khác (nghĩa là nếu trọng số là 1.84, đầu vào của 0 sẽ dẫn đến 0 và -1 sẽ dẫn đến -1.84) nhưng tôi không biết liệu nó có tốt hơn hay không hay tại sao. – Louis

+0

Nó có ảnh hưởng đến toán học. – Louis

-1

Mạng tìm hiểu nhanh bằng cách sử dụng -1/1 đầu vào so với 0/1. Ngoài ra, nếu bạn sử dụng -1/1 đầu vào, 0 có nghĩa là "không rõ mục nhập/tiếng ồn/không quan trọng". Tôi sẽ sử dụng -1/1 làm đầu vào của mạng thần kinh của tôi.

+0

Nhưng tôi có phải thay đổi bất cứ điều gì hoặc nó nên hoạt động bằng cách thay thế 0 bằng -1. Như tôi đã nói, tôi đã cho nó một đi nhưng tôi có kết quả kỳ lạ. MSE lưu giữ cùng một số thông qua mỗi kỷ nguyên. – Louis

Các vấn đề liên quan