quantization floworflow

Question

Tôi muốn tối ưu hóa biểu đồ bằng công cụ transform_graph của Tensorflow. Tôi đã thử tối ưu hóa biểu đồ từ MultiNet (và các biểu đồ khác có kiến ​​trúc bộ giải mã bộ mã hóa tương tự). Tuy nhiên, đồ thị tối ưu hóa thực sự chậm hơn khi sử dụng quantize_weights và thậm chí còn chậm hơn nhiều khi sử dụng quantize_nodes. Từ tài liệu của Tensorflow, có thể không có cải tiến, hoặc thậm chí có thể chậm hơn, khi lượng tử hóa. Bất kỳ ý tưởng nếu điều này là bình thường với đồ thị/phần mềm/phần cứng dưới đây?

Đây là thông tin hệ thống của tôi để bạn tham khảo:

• OS Platform và phân phối: Linux Ubuntu 16,04
• TensorFlow cài đặt từ: sử dụng mã nguồn TF (CPU) để chuyển đổi đồ thị, sử dụng hệ nhị phân-python (GPU) cho suy luận
• phiên bản TensorFlow: cả hai sử dụng r1.3
• Python phiên bản: 2.7 phiên bản
• Bazel: 0.6.1
• CUDA/cuDNN phiên bản: 8.0/6.0 (suy luận chỉ)
• model GPU và bộ nhớ: GeForce GTX 1080 Ti

tôi có thể gửi tất cả các kịch bản sử dụng để tái tạo nếu cần thiết.

Answer 1

Dường như lượng tử trong Tensorflow chỉ xảy ra trên CPU. Xem: https://github.com/tensorflow/tensorflow/issues/2807

Answer 2

Tôi gặp vấn đề tương tự trong môi trường máy tính. Mô hình của tôi chậm hơn 9 lần so với việc không định lượng.

Nhưng khi tôi chuyển mô hình lượng tử của mình vào ứng dụng android, ok của nó để tăng tốc.

Có vẻ như hiện tại chỉ hoạt động trên CPU và chỉ CPU ARM cơ bản như điện thoại Android.