Làm thế nào để lưu mô hình từ ML Pipeline đến S3 hoặc HDFS?

Question

Tôi đang cố gắng tiết kiệm hàng ngàn mô hình được sản xuất bởi ML Pipeline. Như đã nêu trong câu trả lời here, các mô hình có thể được lưu như sau:

import java.io._ 

def saveModel(name: String, model: PipelineModel) = { 
    val oos = new ObjectOutputStream(new FileOutputStream(s"/some/path/$name")) 
    oos.writeObject(model) 
    oos.close 
} 

schools.zip(bySchoolArrayModels).foreach{ 
    case (name, model) => saveModel(name, Model) 
} 

Tôi đã cố gắng sử dụng s3://some/path/$name và /user/hadoop/some/path/$name như tôi muốn các mô hình được lưu vào amazon s3 cuối cùng nhưng cả hai đều thất bại với những thông điệp cho thấy sự không thể tìm thấy đường dẫn.

Cách lưu mô hình vào S3 của Amazon?

Answer 1

Vì vậy, FileOutputStream lưu vào hệ thống tệp cục bộ (không phải thông qua thư viện hadoop), do đó lưu vào thư mục cục bộ là cách để thực hiện việc này. Điều đó đang được nói, thư mục cần phải tồn tại, vì vậy hãy chắc chắn rằng thư mục tồn tại trước tiên.

Điều đó đang được nói, tùy thuộc vào kiểu máy của bạn mà bạn có thể muốn xem https://spark.apache.org/docs/latest/mllib-pmml-model-export.html (xuất khẩu pmml).

Answer 2

Một cách để tiết kiệm một mô hình để HDFS là như sau:

// persist model to HDFS 
sc.parallelize(Seq(model), 1).saveAsObjectFile("hdfs:///user/root/linReg.model") 

mô hình đã lưu sau đó có thể được nạp như:

val linRegModel = sc.objectFile[LinearRegressionModel]("linReg.model").first() 

Để biết thêm chi tiết xem (ref)

Answer 3

Kể từ Apache-Spark 1.6 và trong API Scala, bạn có thể lưu mô hình của mình mà không cần sử dụng bất kỳ thủ thuật nào. Bởi vì, tất cả các mô hình từ thư viện ML đi kèm với một phương pháp save, bạn có thể kiểm tra điều này trong LogisticRegressionModel, thực sự nó có phương pháp đó. Bằng cách tải mô hình, bạn có thể sử dụng một phương pháp tĩnh.

val logRegModel = LogisticRegressionModel.load("myModel.model")