xử lý chuỗi văn bản cho đầu vào mạng thần kinh

Question

Tôi hiểu rằng đầu vào ANN phải được chuẩn hóa, chuẩn hóa, v.v. Để lại các đặc tính và mô hình của ANN khác nhau sang một bên, làm cách nào để xử lý trước văn bản được mã hóa UTF-8 trong phạm vi {0 , 1} hoặc cách khác giữa phạm vi {-1,1} trước khi nó được đưa ra làm đầu vào cho mạng thần kinh? Tôi đã tìm kiếm điều này trên google nhưng không thể tìm thấy bất kỳ thông tin nào (tôi có thể đang sử dụng sai cụm từ).

1. Điều đó có hợp lý không?
2. Đó không phải là cách văn bản được xử lý trước cho mạng thần kinh?
3. Có cách nào khác không?

EDIT 20 tháng mười một năm 2013:

tôi từ lâu đã được chấp nhận như đúng câu trả lời của Pete. Tuy nhiên, tôi có những nghi ngờ nghiêm trọng, chủ yếu là do các nghiên cứu gần đây tôi đã làm về kiến ​​thức tượng trưng và ANN.

Dario Floreano and Claudio Mattiussi trong sách của họ giải thích rằng việc xử lý như vậy thực sự có thể, bằng cách sử dụng mã hóa phân phối. Thật vậy nếu bạn thử tìm kiếm trên google scholar, tồn tại rất nhiều bài báo về khoa học thần kinh và các bài báo về cách mã hóa được giả định được sử dụng bởi bộ não để mã hóa Kiến thức tượng trưng.

Teuvo Kohonen, trong bài báo của mình "Tự tổ chức Maps" giải thích:

Người ta có thể nghĩ rằng việc áp dụng pháp luật thích ứng thần kinh để một biểu tượng set (coi như là một tập hợp các biến vectơ) có thể tạo một bản đồ địa hình hiển thị "khoảng cách hợp lý" giữa các ký hiệu . Tuy nhiên, xảy ra một vấn đề nằm trong bản chất khác nhau của của các biểu tượng so với dữ liệu liên tục. Đối với trường hợp thứ hai, tương tự luôn hiển thị theo cách tự nhiên, vì sự khác biệt về chỉ số giữa các mã hóa liên tục của chúng. Điều này không còn đúng đối với các mục biểu tượng, rời rạc, chẳng hạn như các từ, không có chỉ số nào được định nghĩa là . Chính bản chất của một biểu tượng mà ý nghĩa của nó là tách khỏi mã hóa của nó.

Tuy nhiên, Kohonen đã quản lý để đối phó với Thông tin tượng trưng trong SOM!

Hơn nữa, Giáo sư Tiến sĩ Alfred Ultsch trong bài báo của mình "Các Lồng ghép Neural Networks với Processing Kiến thức tượng trưng" giao dịch chính xác với cách xử lý kiến ​​thức tượng trưng (như văn bản) trong ANN của. Ultsch cung cấp các phương pháp sau đây để xử lý kiến ​​thức tượng trưng: Lý thuyết xấp xỉ thần kinh, Hợp nhất thần kinh, Introspection và tích hợp Thu thập kiến ​​thức. Mặc dù ít thông tin có thể được tìm thấy trên những người trong học giả google hoặc bất cứ nơi nào khác cho rằng vấn đề.

Câu trả lời của Pete đúng về ngữ nghĩa học. Ngữ nghĩa trong ANN thường bị ngắt kết nối.Tuy nhiên, tham khảo sau đây, cung cấp cái nhìn sâu sắc về cách các nhà nghiên cứu sử dụng RBM, được đào tạo để nhận ra sự giống nhau trong ngữ nghĩa của các đầu vào từ khác nhau, do đó không thể có ngữ nghĩa, nhưng sẽ yêu cầu cách tiếp cận phân lớp hoặc ANN phụ .

Natural Language Processing With Subsymbolic Neural Networks, Risto Miikkulainen, 1997 Training Restricted Boltzmann Machines on Word Observations, G.E.Dahl, Ryan.P.Adams, H.Rarochelle, 2012

Answer 1

Tôi sẽ tiếp tục và tóm tắt thảo luận của chúng tôi làm câu trả lời ở đây.

Mục tiêu của bạn là có thể kết hợp văn bản vào mạng thần kinh của bạn. Chúng tôi đã thiết lập rằng các ANN truyền thống không thực sự phù hợp để phân tích văn bản. Lời giải thích cơ bản về lý do tại sao điều này dựa trên ý tưởng rằng ANN hoạt động trên các đầu vào thường là một phạm vi liên tục của các giá trị và độ gần của hai giá trị cho đầu vào có nghĩa là một số loại gần đúng theo ý nghĩa của chúng. Từ ngữ không có ý tưởng gần gũi và như vậy, không có mã hóa số thực cho các từ có thể có ý nghĩa như đầu vào cho ANN. Mặt khác, giải pháp có thể hoạt động là sử dụng phân tích ngữ nghĩa truyền thống hơn, có thể tạo phạm vi tình cảm cho danh sách chủ đề và sau đó các chủ đề đó và giá trị tình cảm của họ có thể được sử dụng làm đầu vào cho ANN.

Answer 2

Đáp lại ý kiến ​​của bạn, không, đề án đề xuất của bạn không hoàn toàn có ý nghĩa. Một đầu ra nơron nhân tạo theo bản chất của nó đại diện cho một giá trị liên tục hoặc ít nhất là một giá trị nhị phân. Nó không có ý nghĩa để ánh xạ giữa một liệt kê rời rạc rất lớn (như các ký tự UTF-8) và phạm vi liên tục được biểu diễn bằng một giá trị dấu phẩy động. ANN nhất thiết phải hoạt động như 0.1243573 là xấp xỉ cực kỳ tốt với 0.1243577 khi những con số đó có thể dễ dàng được ánh xạ tới ký tự dòng mới và ký tự "a", ví dụ: không là xấp xỉ tốt cho nhau tại tất cả .

Hoàn toàn thẳng thắn, có không phải là biểu diễn hợp lý cho "chuỗi unicode chung" làm đầu vào cho ANN. Một biểu diễn hợp lý tùy thuộc vào chi tiết cụ thể của những gì bạn đang làm. Tùy thuộc vào câu trả lời của bạn cho các câu hỏi sau:

• Bạn có mong đợi các từ hiển thị trong chuỗi đầu vào trái ngược với khối ký tự không? Những từ bạn mong đợi để hiển thị trong các chuỗi?
• Phân phối độ dài của chuỗi đầu vào là bao nhiêu?
• Entropy dự kiến ​​của các chuỗi đầu vào là gì?
• Có kiến ​​thức cụ thể về miền mà bạn có về những gì bạn mong đợi các chuỗi trông giống như không?

và quan trọng nhất

• Bạn đang cố gắng để làm với ANN. Đây là không phải điều gì đó bạn có thể bỏ qua.

thể của bạn có thể có một thiết lập mà có không dịch mà thực sự sẽ cho phép bạn làm gì bạn muốn với các mạng thần kinh. Cho đến khi bạn trả lời những câu hỏi đó (bạn có thể quấn quanh chúng trong các bình luận ở trên), bạn không thể đưa ra câu trả lời hay.

Tôi có thể cung cấp câu trả lời ví dụ , điều đó sẽ hoạt động nếu bạn tình cờ đưa ra một số câu trả lời nhất định cho các câu hỏi trên. Ví dụ, nếu bạn đọc các chuỗi có độ dài tùy ý nhưng bao gồm một từ vựng nhỏ của các từ được phân tách bằng dấu cách, thì tôi sẽ đề xuất một lược đồ dịch mà bạn tạo đầu vào N, một cho mỗi từ trong từ vựng và sử dụng một neural tái phát mạng để nạp vào từng từ một bằng cách đặt đầu vào tương ứng thành 1 và tất cả các số khác thành 0

Answer 3

Không rõ bạn đang cố gắng làm gì, nhưng tôi đoán rằng nó có vẻ ở một số ý nghĩa liên quan đến những gì mọi người gọi là "Ngôn ngữ tự nhiên". Có rất nhiều tài liệu tham khảo về điều này ... Tôi không phải là một chuyên gia, nhưng tôi biết ví dụ rằng có một số tài liệu tham khảo thú vị của O'Reilly.

Từ góc độ NN, có rất nhiều mô hình NN khác nhau.Tôi nghĩ rằng bạn đang đề cập đến một phổ biến nhất được gọi là Multilayer perceptron với một loại thuật toán backpropagation, nhưng có rất nhiều mô hình của bộ nhớ kết hợp có thể phù hợp hơn cho trường hợp của bạn. Một tài liệu tham khảo rất tốt về điều này là cuốn sách Simon Haykin.

Tuy nhiên, nếu tôi cố gắng làm điều gì đó như thế này, tôi sẽ bắt đầu cố gắng hiểu tần suất của các chữ cái, âm tiết và từ phát sinh cùng nhau bằng tiếng Anh (?).

Tôi hy vọng rằng tôi đã giúp. Như tôi đã nói trước đây, tôi không phải là một chuyên gia trong lĩnh vực này.

Answer 4

Tôi nghĩ sẽ rất thú vị khi nạp văn bản (được mã hóa ở cấp độ ký tự) vào một mạng niềm tin sâu sắc, để xem những thuộc tính nào của ngôn ngữ mà nó có thể khám phá.

Hiện đã có rất nhiều công việc được thực hiện gần đây trên mô hình Neural Network Ngôn ngữ (chủ yếu là ở cấp văn bản, mà còn ở cấp nhân vật)

Xem những liên kết này để biết thêm

http://www.stanford.edu/group/pdplab/pdphandbook/handbookch8.html http://code.google.com/p/word2vec/

Các vectơ từ được mã hóa bằng cách đào tạo trên một tập hợp lớn các bài viết wikipedia vv .. và đã có thể có được các tính năng ngữ nghĩa và cú pháp, cho phép một khoảng cách "" được xác định giữa chúng "

"Gần đây đã cho thấy rằng vectơ từ nắm bắt được nhiều quy tắc ngôn ngữ, ví dụ vector hoạt động vectơ ('vua') - vectơ ('man') + vectơ ('đàn bà') gần vector ('nữ hoàng') "

Cũng xem bài nghiên cứu tuyệt vời này của Ilya Sutskever về việc tạo các ký tự ngẫu nhiên, thể hiện các tính năng của ngôn ngữ tiếng Anh sau khi được đào tạo trên wikipedia. Công cụ tuyệt vời!

http://www.cs.toronto.edu/~ilya/pubs/2011/LANG-RNN.pdf http://www.cs.toronto.edu/~ilya/rnn.html (! Online thế hệ văn bản văn bản demo - rất mát mẻ)

Answer 5

Giải pháp 1: A = Alt (65) = 65 Bin = 01000001

Giải pháp 2: Thêm từ cơ sở dữ liệu từ điển và thêm trường id (int). Chuyển đổi trường id thành nhị phân.

Trong các chữ cái sử dụng NN hoặc Id từ (nhị phân)