Sử dụng lại trọng lượng lớp trong Tensorflow

Question

Tôi đang sử dụng tf.slim để triển khai bộ mã hóa tự động. Tôi hoàn toàn chuyển đổi với kiến ​​trúc sau:

[conv, outputs = 1] => [conv, outputs = 15] => [conv, outputs = 25] => 
=> [conv_transpose, outputs = 25] => [conv_transpose, outputs = 15] => 
[conv_transpose, outputs = 1] 

Nó phải được chuyển hoàn toàn và tôi không thể kết hợp (giới hạn của vấn đề lớn hơn). Tôi muốn sử dụng các trọng lượng được buộc, vì vậy,

encoder_W_3 = decoder_W_1_Transposed 

(do đó trọng lượng của lớp giải mã đầu tiên là lớp của lớp mã hóa cuối cùng, được chuyển đổi).

Nếu tôi tái sử dụng trọng lượng đường tfslim thường xuyên cho phép bạn sử dụng lại chúng, tức là tái sử dụng = True và sau đó chỉ cần cung cấp tên phạm vi của lớp bạn muốn sử dụng lại, tôi nhận được kích thước phát hành:

ValueError: Trying to share variable cnn_block_3/weights, but specified shape (21, 11, 25, 25) and found shape (21, 11, 15, 25). 

Điều này làm cho ý nghĩa, nếu bạn không chuyển tải trọng số của mô hình trước đó. Có ai có ý tưởng về cách tôi có thể chuyển đổi những trọng số đó không?

PS: Tôi biết điều này rất trừu tượng và vẫy tay, nhưng tôi đang làm việc với api tùy chỉnh, trên đầu trang của tfslim, vì vậy tôi không thể đăng các ví dụ mã ở đây.

Answer 1

Có ai có ý tưởng về cách tôi có thể chuyển đổi trọng số đó không?

Transposition rất đơn giản:

new_weights = tf.transpose(weights, perm=[0, 1, 3, 2]) 

sẽ trao đổi hai trục trước.

Tuy nhiên, như @Seven đã đề cập, điều đó sẽ không đủ để giải quyết lỗi, vì tổng số lượng trọng lượng đã thay đổi.