Sự khác nhau giữa gói Spark ML và MLLIB

Question

Tôi nhận thấy có hai lớp LinearRegressionModel trong SparkML, một trong ML và một gói khác trong gói MLLib.

Hai thứ này được triển khai khá khác nhau - ví dụ: số điện thoại từ MLLib triển khai Serializable, trong khi số khác thì không.

Bằng cách này, ame là đúng về RandomForestModel.

Tại sao có hai lớp học? Cái nào là "đúng"? Và liệu có cách nào để biến đổi thành cái khác?

Answer 1

o.a.s.mllib chứa API dựa trên RDD cũ trong khi o.a.s.ml chứa API mới xây dựng xung quanh Dataset và ML Pipelines. ml và mllib đạt tính chẵn lẻ tính năng trong 2.0.0 và mllib đang dần bị phản đối (điều này đã xảy ra trong trường hợp hồi quy tuyến tính) và rất có thể sẽ bị xóa trong bản phát hành chính tiếp theo.

Vì vậy, trừ khi mục tiêu của bạn là khả năng tương thích ngược thì "lựa chọn đúng" là o.a.s.ml.