Tensorflow Relu Misunderstanding

Question

Gần đây tôi đã thực hiện khóa học Sâu về Udacity dựa trên khoảng TensorFlow. Tôi có một chương trình đơn giản MNIST đó là chính xác khoảng 92%:

 

from tensorflow.examples.tutorials.mnist import input_data 
import tensorflow as tf 

mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) 

x = tf.placeholder(tf.float32, [None, 784]) 
W = tf.Variable(tf.zeros([784, 10])) 
b = tf.Variable(tf.zeros([10])) 

y = tf.nn.softmax(tf.matmul(x, W) + b) 

y_ = tf.placeholder(tf.float32, [None, 10]) 
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1])) 

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy) 

init = tf.initialize_all_variables() 

sess = tf.Session() 
sess.run(init) 

for i in range(1000): 
    batch_xs, batch_ys = mnist.train.next_batch(100) 
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys}) 

correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1)) 
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels})) 
 

phân công tiếp theo của tôi nó để Turn the logistic regression example with SGD into a 1-hidden layer neural network with rectified linear units nn.relu() and 1024 hidden nodes

Tôi gặp một khối tinh thần về việc này. Hiện tại tôi có ma trận trọng số 784 x 10 và vectơ thiên vị dài 10 phần tử. Tôi không hiểu cách tôi kết nối vector phần tử 10 kết quả từ WX + Bias đến 1024 Relu s.

Nếu ai đó có thể giải thích điều này với tôi, tôi sẽ rất biết ơn.

Answer 1

Ngay bây giờ bạn có một cái gì đó như thế này

và bạn cần một cái gì đó giống như

này (sơ đồ này là mất tích lớp ReLU mà đi sau + b1)