Sử dụng tính năng nhúng từ được đào tạo (word2vec hoặc Glove) trong TensorFlow

Question

Gần đây tôi đã xem xét một triển khai thú vị cho convolutional text classification. Tuy nhiên tất cả các mã TensorFlow tôi đã xem xét sử dụng một ngẫu nhiên (không pre-đào tạo) nhúng vectơ như sau:

with tf.device('/cpu:0'), tf.name_scope("embedding"): 
    W = tf.Variable(
     tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0), 
     name="W") 
    self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x) 
    self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1) 

Có ai biết làm thế nào để sử dụng các kết quả của Word2vec hoặc một chiếc găng tay trước được đào tạo từ nhúng thay vì ngẫu nhiên?

Answer 1

Có một vài cách để bạn có thể sử dụng tính năng nhúng được đào tạo trước trong TensorFlow. Giả sử bạn có nhúng trong một mảng NumPy được gọi là embedding, với vocab_size hàng và embedding_dim cột và bạn muốn tạo một tensor W có thể được sử dụng trong một cuộc gọi đến tf.nn.embedding_lookup().

1. Đơn giản chỉ cần tạo W như một tf.constant() rằng mất embedding như giá trị của nó:

   W = tf.constant(embedding, name="W") 
   

   Đây là phương pháp đơn giản nhất, nhưng nó không phải là bộ nhớ hiệu quả vì giá trị của một tf.constant() được lưu trữ nhiều lần trong ký ức. Vì embedding có thể rất lớn, bạn chỉ nên sử dụng phương pháp này cho các ví dụ đồ chơi.

2. Tạo W như một tf.Variable và khởi tạo nó từ mảng NumPy qua một tf.placeholder():

   W = tf.Variable(tf.constant(0.0, shape=[vocab_size, embedding_dim]), 
          trainable=False, name="W") 
   
   embedding_placeholder = tf.placeholder(tf.float32, [vocab_size, embedding_dim]) 
   embedding_init = W.assign(embedding_placeholder) 
   
   # ... 
   sess = tf.Session() 
   
   sess.run(embedding_init, feed_dict={embedding_placeholder: embedding}) 
   

   tránh điều này lưu trữ một bản sao của embedding trong biểu đồ, nhưng nó đòi hỏi đủ bộ nhớ để giữ hai bản sao của ma trận trong bộ nhớ cùng một lúc (một cho mảng NumPy, và một cho tf.Variable). Lưu ý rằng tôi đã giả định rằng bạn muốn giữ hằng số ma trận nhúng trong khi đào tạo, do đó, W được tạo với trainable=False.

3. Nếu nhúng được đào tạo như một phần của mô hình TensorFlow khác, bạn có thể sử dụng tf.train.Saver để tải giá trị từ tệp điểm kiểm tra của mô hình khác. Điều này có nghĩa là ma trận nhúng có thể bỏ qua hoàn toàn Python. Tạo W như trong phương án 2, sau đó làm như sau:

   W = tf.Variable(...) 
   
   embedding_saver = tf.train.Saver({"name_of_variable_in_other_model": W}) 
   
   # ... 
   sess = tf.Session() 
   embedding_saver.restore(sess, "checkpoint_filename.ckpt") 
   

Answer 2

tôi sử dụng phương pháp này để tải và chia sẻ nhúng.

W = tf.get_variable(name="W", shape=embedding.shape, initializer=tf.constant_initializer(embedding), trainable=False) 

Answer 3

Câu trả lời của @mrry là không đúng bởi vì nó provoques ghi đè lên các trọng embeddings mỗi mạng được chạy, vì vậy nếu bạn đang theo dõi một cách tiếp cận minibatch để đào tạo mạng, bạn được ghi đè lên các trọng của embeddings. Vì vậy, theo quan điểm của tôi, cách thích hợp để nhúng các tài liệu nhúng là:

embeddings = tf.get_variable("embeddings", shape=[dim1, dim2], initializer=tf.constant_initializer(np.array(embeddings_matrix))