Matrix Math Với Sparklyr

Question

Tìm cách chuyển đổi một số mã R thành Sparklyr, các hàm như lmtest :: coeftest() và sandwich :: sandwich(). Cố gắng để bắt đầu với phần mở rộng Sparklyr nhưng khá mới với API Spark và có vấn đề :(

Chạy Spark 2.1.1 và sparklyr 0.5.5-9002

Cảm nhận bước đầu tiên sẽ là để tạo ra một đối tượng DenseMatrix sử dụng thư viện linalg:

library(sparklyr) 
library(dplyr) 
sc <- spark_connect("local") 

rows <- as.integer(2) 
cols <- as.integer(2) 
array <- c(1,2,3,4) 

mat <- invoke_new(sc, "org.apache.spark.mllib.linalg.DenseMatrix", 
        rows, cols, array) 

Điều này dẫn đến các lỗi:

Error: java.lang.Exception: No matched constructor found for class org.apache.spark.mllib.linalg.DenseMatrix 

Được rồi, vì vậy tôi có một java lang ngoại lệ, tôi khá chắc chắn t ông rows và cols args là tốt trong các nhà xây dựng, nhưng không chắc chắn về người cuối cùng, được cho là một java Array. Vì vậy, tôi đã thử một vài hoán vị của:

array <- invoke_new(sc, "java.util.Arrays", c(1,2,3,4)) 

nhưng kết thúc với một thông báo lỗi tương tự ...

Error: java.lang.Exception: No matched constructor found for class java.util.Arrays 

tôi cảm thấy như tôi là thiếu một cái gì đó khá cơ bản. Có ai biết chuyện gì không?

Answer 1

R đối tác của Java Array là list:

invoke_new(
    sc, "org.apache.spark.ml.linalg.DenseMatrix", 
    2L, 2L, list(1, 2, 3, 4)) 

## <jobj[17]> 
## class org.apache.spark.ml.linalg.DenseMatrix 
## 1.0 3.0 
## 2.0 4.0 

hoặc

invoke_static(
    sc, "org.apache.spark.ml.linalg.Matrices", "dense", 
    2L, 2L, list(1, 2, 3, 4)) 

## <jobj[19]> 
## class org.apache.spark.ml.linalg.DenseMatrix 
## 1.0 3.0 
## 2.0 4.0 

Xin lưu ý Tôi đang sử dụng o.a.s.ml.linalg thay vì o.a.s.mllib.linalg. Trong khi mllib sẽ hoạt động độc lập, với các thuật toán Spark 2.x o.a.s.ml không còn chấp nhận địa chỉ o.a.s.mllib cục bộ nữa.

Đồng thời R vector loại (numeric, integer, character) được sử dụng làm vô hướng.

Note:

Cá nhân tôi tin rằng đây không phải là cách để đi. Các gói Spark linalg khá hạn chế và phụ thuộc vào các thư viện không thể sử dụng được qua sparklyr. Hơn nữa, sparklyr API không phù hợp với logic phức tạp.

Trong thực tế, điều này có ý nghĩa hơn khi triển khai Java hoặc phần mở rộng Scala, với trình bao bọc mỏng, R thân thiện.