sparklyr

5Nhiệt

1Trả lời

Kết nối sparklyr với kết nối tia lửa từ xa

Tôi muốn kết nối phiên RStudio trên máy tính để bàn cục bộ của mình với phiên khởi động từ xa qua sparklyr. Khi bạn đi để thêm một kết nối mới trong tab sparklyr ui trong RStudio và chọn cụm là nói rằ

10Nhiệt

1Trả lời

Matrix Math Với Sparklyr

Tìm cách chuyển đổi một số mã R thành Sparklyr, các hàm như lmtest :: coeftest() và sandwich :: sandwich(). Cố gắng để bắt đầu với phần mở rộng Sparklyr nhưng khá mới với API Spark và có vấn đề :( Chạ

8Nhiệt

3Trả lời

Có cách nào để xử lý dữ liệu lồng nhau với sparklyr không?

Trong ví dụ sau, tôi đã tải một tệp lát gỗ có chứa một bản ghi lồng nhau của các đối tượng bản đồ trong trường meta. sparklyr dường như làm một công việc tốt đẹp để giải quyết những vấn đề này. Tuy nh

5Nhiệt

1Trả lời

Sparklyr - chính xác thập phân 8 vượt quá độ chính xác tối đa 7

Tôi đang cố gắng để sao chép một cơ sở dữ liệu lớn vào Spark sử dụng spark_read_csv, nhưng tôi nhận được lỗi sau khi đầu ra: Error: org.apache.spark.SparkException: Job aborted due to stage failure: T

5Nhiệt

1Trả lời

Sparklyr bỏ qua dòng delimiter

Tôi đang cố gắng để đọc một .csv 2GB ~ (5mi lines) trong sparklyr với: bigcsvspark <- spark_read_csv(sc, "bigtxt", "path", delimiter = "!", infer_schema = FALSE, me

44Nhiệt

7Trả lời

SparkR vs sparklyr

Có ai có cái nhìn tổng quan về lợi thế/bất lợi của SparkR và sparklyr không? Google không mang lại bất kỳ kết quả khả quan nào và cả hai dường như khá giống nhau. Hãy thử cả hai, SparkR xuất hiện rất

5Nhiệt

2Trả lời

rollapply cho dữ liệu lớn bằng cách sử dụng sparklyr

Tôi muốn ước tính giá trị lăn có nguy cơ cho tập dữ liệu khoảng 22,5 triệu quan sát, do đó tôi muốn sử dụng sparklyr để tính toán nhanh. Đây là những gì tôi đã làm (sử dụng một cơ sở dữ liệu mẫu): lib