Tôi không thể khớp thời gian suy luận được Google báo cáo cho các kiểu được phát hành trong model zoo. Cụ thể là tôi đang thử mô hình faster_rcnn_resnet101_coco
của mình trong đó thời gian phỏng đoán được báo cáo là 106ms
trên GPU X Titan.API phát hiện đối tượng Tensorflow có thời gian suy luận chậm với phân phối lưu lượng truy cập
Hệ thống phân phối của tôi đang sử dụng TF 1.4 chạy trong vùng chứa được tạo từ số Dockerfile do Google phát hành. Khách hàng của tôi được mô hình hóa sau số inception client cũng do Google phát hành.
Tôi đang chạy trên Ubuntu 14.04, TF 1.4 với 1 Titan X. Tổng thời gian suy luận của tôi gấp 3 lần so với báo cáo của Google ~ 330ms. Làm cho số tensor proto được thực hiện ~ 150ms và Predict mất ~ 180ms. My saved_model.pb
trực tiếp từ tệp tar được tải xuống từ vườn thú mô hình. Có điều gì tôi đang thiếu? Tôi có thể thực hiện các bước nào để giảm thời gian suy luận?
Tôi không nghĩ đó là vấn đề, tôi đang sử dụng TF 1.4 là phiên bản tương tự mà các mô hình đã xuất được dựa trên. Từ vườn thú mô hình: 'Đồ thị suy luận đông lạnh của chúng tôi được tạo ra bằng cách sử dụng phiên bản phát hành v1.4.0 của Tensorflow' –