Mô hình mạng nơron này có tồn tại không?

Question

Tôi đang tìm một mô hình mạng nơron với các đặc tính cụ thể. Mô hình này có thể không tồn tại ...

Tôi cần một mạng không sử dụng "lớp" làm mạng thần kinh nhân tạo truyền thống. Thay vào đó, tôi muốn [những gì tôi tin là] một mô hình sinh học hơn.

Mô hình này sẽ chứa một cụm lớn các nơron kết nối với nhau, như hình bên dưới. Một vài nơ-ron (ở dưới cùng của sơ đồ) sẽ nhận tín hiệu đầu vào, và một hiệu ứng thác sẽ gây ra các nơron liên tiếp, kết nối có thể cháy tùy thuộc vào cường độ tín hiệu và trọng lượng kết nối. Điều này không có gì mới, nhưng, không có lớp rõ ràng ... chỉ càng xa, các kết nối gián tiếp.

Như bạn có thể thấy, tôi cũng có mạng được chia thành các phần (vòng kết nối). Mỗi vòng tròn đại diện cho một miền ngữ nghĩa (khái niệm ngôn ngữ học) là thông tin cốt lõi xung quanh một khái niệm; về cơ bản một miền ngữ nghĩa là một khái niệm.

Kết nối giữa các nút trong một phần có trọng số cao hơn kết nối giữa các nút của các phần khác nhau. Vì vậy, các nút cho "xe hơi" được kết nối với nhau nhiều hơn các nút kết nối "tiếng Anh" với "xe hơi". Do đó, khi một tế bào thần kinh trong một phần cháy (được kích hoạt), có khả năng là toàn bộ (hoặc hầu hết) phần này cũng sẽ được kích hoạt.

Tất cả trong tất cả, tôi cần mẫu đầu ra được sử dụng làm đầu vào để có thêm đầu ra, v.v. Một hiệu ứng thác là những gì tôi sau.

Tôi hy vọng điều này có ý nghĩa. Vui lòng yêu cầu làm rõ khi cần.

Có mô hình phù hợp nào tồn tại mô hình hóa những gì tôi đã mô tả không?

Answer 1

Tất cả trong tất cả, tôi cần mẫu đầu ra sẽ được sử dụng như là đầu vào cho sản lượng hơn nữa, và như vậy. Hiệu ứng xếp tầng là thứ tôi đang làm.

Điều đó nghe giống như mạng chuyển tiếp với nhiều lớp ẩn. Đừng sợ từ "lớp" ở đây, với nhiều cái nó sẽ giống như bạn vẽ ở đó .. một cái gì đó giống như một 5-5-7-6-7-6-6-5-6-5 - lưới cấu trúc (5 đầu vào, 8 lớp ẩn với số lượng nút khác nhau trong mỗi và 5 đầu ra).

Bạn có thể kết nối các nút với nhau theo bất kỳ cách nào bạn muốn từ lớp này sang lớp khác. Bạn có thể để một số không được kết nối đơn giản bằng cách sử dụng hằng số bằng trọng số giữa chúng, hoặc nếu lập trình hướng đối tượng được sử dụng, chỉ cần để các kết nối không mong muốn trong giai đoạn kết nối. Bỏ qua các lớp có thể khó hơn với một mô hình NN chuẩn, nhưng một cách có thể là sử dụng một nút giả cho mỗi lớp mà trọng lượng cần phải vượt qua. Chỉ cần sao chép đầu ra ban đầu * trọng số-giá trị từ nút đến giả sẽ giống như bỏ qua một lớp và điều này cũng sẽ giữ nguyên mô hình NN chuẩn.

Nếu bạn muốn mạng chỉ xuất một số 1 và 0, một hàm bước đơn giản có thể được sử dụng như một hàm kích hoạt trong mỗi nút: 1 cho các giá trị lớn hơn 0,5, 0 nếu không.

Tôi không chắc chắn nếu điều này là muốn bạn muốn, nhưng theo cách này bạn sẽ có thể xây dựng một mạng bạn mô tả. Tuy nhiên, tôi không có ý tưởng làm thế nào bạn có kế hoạch dạy mạng của bạn để sản xuất một số lĩnh vực ngữ nghĩa. Tại sao không chỉ để cho mạng học trọng lượng riêng của nó? Điều này có thể đạt được với các đầu vào-đầu ra đơn giản và một thuật toán backpropagation.Nếu bạn sử dụng mô hình chuẩn để xây dựng mạng của mình, thì toán học của việc học sẽ không khác biệt với bất kỳ mạng chuyển tiếp nào khác. Cuối cùng nhưng không kém phần quan trọng, bạn có thể tìm thấy một thư viện phù hợp với nhiệm vụ này chỉ với một phần nhỏ hoặc không có thay đổi chút nào đối với mã.

Answer 2

Mạng thần kinh của bạn giống với mạng thần kinh được tạo bằng Thuật toán tiến hóa ví dụ thuật toán di truyền.

Xem các bài viết sau để biết chi tiết.

• Han - Evolutionary neural networks for anomaly detection based on the behavior of a program
• WHITLEY - Genetic Algorithms and Neural Networks

Đối với một bản tóm tắt trong loại mạng thần kinh. Neurons và các kết nối của chúng được tạo ra bằng cách sử dụng các kỹ thuật tiến hóa. Do đó họ không có cách tiếp cận lớp nghiêm ngặt. Hans sử dụng kỹ thuật sau đây:

"Operations di truyền:

Nhà điều hành chéo tạo ra một hậu duệ mới bằng cách trao đổi các phần phần giữa hai mạng nơ-ron Nó chọn hai mạng thần kinh khác nhau một cách ngẫu nhiên và chọn một nút ẩn như. điểm mấu chốt. Sau đó, họ trao đổi các liên kết kết nối và trọng số tương ứng dựa trên điểm xoay được chọn.

Nhà điều hành đột biến thay đổi liên kết kết nối và trọng lượng tương ứng của ngẫu nhiên mạng thần kinh được chọn. Nó thực hiện một trong hai thao tác: thêm một kết nối mới hoặc xóa kết nối hiện có.

Nhà điều hành đột biến chọn ngẫu nhiên hai nút của mạng thần kinh. Nếu không có kết nối giữa chúng, nó kết nối hai nút với trọng số ngẫu nhiên.
Nếu không, nó sẽ xóa liên kết kết nối và thông tin về trọng lượng. "

Tiếp theo con số từ bài viết Whitley của.

@ARTICLE{Han2005Evolutionary, 
    author = {Sang-Jun Han and Sung-Bae Cho}, 
    title = {Evolutionary neural networks for anomaly detection based on the behavior 
of a program}, 
    journal = {Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions 
on}, 
    year = {2005}, 
    volume = {36}, 
    pages = {559 -570}, 
    number = {3}, 
    month = {june }, 

}

@article{whitley1995genetic, 
    title={Genetic algorithms and neural networks}, 
    author={Whitley, D.}, 
    journal={Genetic algorithms in engineering and computer science}, 
    pages={203--216}, 
    year={1995}, 
    publisher={Citeseer} 
} 

Answer 3

Những câu trả lời liên quan đến thuật toán di truyền tốt âm thanh (đặc biệt là một trích dẫn công việc Darrell Whitley của).

Một lựa chọn khác sẽ đơn giản là kết nối các nút ngẫu nhiên? Điều này được thực hiện, nhiều hay ít, với các mạng thần kinh tái phát.

Bạn cũng có thể xem các mạng nơron chập mạch thành công của LeCun cho ví dụ về ANN với nhiều lớp giống như những gì bạn mô tả ở đây được thiết kế cho một mục đích cụ thể.

Answer 4

mạng của bạn cũng bắt chước này http://nn.cs.utexas.edu/?fullmer:evolving

nhưng không thực sự cho phép mạng để tìm hiểu, nhưng được thay thế.

có thể được đề cập ở đây

http://www.alanturing.net/turing_archive/pages/reference%20articles/connectionism/Turing%27s%20neural%20networks.html