"Không thể để có được hệ thống tập tin cho con đường" lỗi khi huấn luyện mạng nơron trên Google Cloud

Question

Tôi đang sử dụng Google Cloud để đào tạo một mạng lưới thần kinh trên đám mây như trong ví dụ sau:

https://cloud.google.com/blog/big-data/2016/12/how-to-classify-images-with-tensorflow-using-google-cloud-machine-learning-and-cloud-dataflow

Để bắt đầu tôi thiết lập sau để biến môi trường:

PROJECT_ID=$(gcloud config list project --format "value(core.project)") 
BUCKET_NAME=${PROJECT_ID}-mlengine 

sau đó tôi tải lên dữ liệu huấn luyện và đánh giá của tôi, cả hai đều của csv với tên eval_set.csv và train_set.csv để lưu trữ đám mây của Google với lệnh sau đây:

gsutil cp -r data gs://$BUCKET_NAME 

Sau đó tôi đã xác minh rằng hai tệp csv này nằm trong thư mục cực-terminal-160506-mlengine/data trên bộ nhớ Google Cloud của tôi.

sau đó tôi đã làm biến môi trường sau đây hoặc bài

# Assign appropriate values. 
PROJECT=$(gcloud config list project --format "value(core.project)") 
JOB_ID="flowers_${USER}_$(date +%Y%m%d_%H%M%S)" 
GCS_PATH="${BUCKET}/${USER}/${JOB_ID}" 
DICT_FILE=gs://cloud-ml-data/img/flower_photos/dict.txt 

Trước khi cố gắng để xử lý trước dữ liệu đánh giá của tôi như vậy:

# Preprocess the eval set. 
python trainer/preprocess.py \ 
    --input_dict "$DICT_FILE" \ 
    --input_path "gs://cloud-ml-data/img/flower_photos/eval_set.csv" \ 
    --output_path "${GCS_PATH}/preproc/eval" \ 
    --cloud 

Đáng buồn thay, điều này kéo dài trong một chút và sau đó đâm xuất ra các lỗi sau :

ValueError: Unable to get the Filesystem for path gs://polar-terminal-160506-mlengine/data/eval_set.csv 

Điều này dường như không thể như tôi đã xác nhận với đôi mắt của tôi thông qua bảng điều khiển Google Cloud Storage của tôi mà eval_set.csv được lưu trữ tại vị trí này. Đây có lẽ là vấn đề về quyền hạn hoặc điều tôi không thấy?

Chỉnh sửa:

Tôi đã tìm thấy nguyên nhân gây ra lỗi thời gian chạy này từ một dòng nhất định trong tệp trainer.preprocess.py. Dòng này là:

read_input_source = beam.io.ReadFromText(
     opt.input_path, strip_trailing_newlines=True) 

Có vẻ như một đầu mối khá tốt nhưng tôi vẫn không thực sự chắc chắn những gì đang diễn ra. Khi tôi google "beam.io.ReadFromText ValueError: Không thể nhận được hệ thống tập tin cho đường dẫn" không có gì liên quan ở tất cả xuất hiện mà là một chút lẻ. Suy nghĩ?

Answer 1

Dường như cài đặt thư viện chùm tia apache của bạn có thể chưa hoàn chỉnh.

thử pip install apache-beam[gcp]

Nó cho phép chùm apache để truy cập các tập tin được lưu trữ trên Google Cloud Storage.

Gói Tia Apache có sẵn here