vectơ dài không được hỗ trợ chưa được

Question

Tôi đang cố gắng chạy một số mã R và nó bị lỗi do bộ nhớ. Các lỗi mà tôi nhận được là:

Error in sendMaster(try(lapply(X = S, FUN = FUN, ...), silent = TRUE)) : 
    long vectors not supported yet: memory.c:3100 

Chức năng tạo ra những rắc rối như sau:

StationUserX <- function(userNDX){ 
    lat1 = deg2rad(geolocation$latitude[userNDX]) 
    long1 = deg2rad(geolocation$longitude[userNDX]) 
    session_user_id = as.character(geolocation$session_user_id[userNDX]) 
    #Find closest station 
    Distance2Stations <- unlist(lapply(stationNDXs, Distance2StationX, lat1, long1)) 
    # Return index for closest station and distance to closest station 
    stations_userX = data.frame(session_user_id = session_user_id, 
           station = ghcndstations$ID[stationNDXs], 
           Distance2Station = Distance2Stations)  
    stations_userX = stations_userX[with(stations_userX, order(Distance2Station)), ] 
    stations_userX = stations_userX[1:100,] #only the 100 closest stations... 
    row.names(stations_userX)<-NULL 
    return(stations_userX) 
} 

tôi chạy chức năng này sử dụng mclapply 50k lần. StationUserX đang gọi Distance2StationX 90k lần.

Có cách nào rõ ràng để tối ưu hóa chức năng StationUserX không?

Answer 1

mclapply đang gặp sự cố khi gửi lại tất cả dữ liệu từ chuỗi công việc vào chuỗi chính. Đó là do việc lên kế hoạch, nơi mà nó chạy số lần lặp lớn cho mỗi luồng, và sau đó đồng bộ tất cả dữ liệu trở lại. Đó là tốt đẹp và nhanh chóng, nhưng kết quả trong> 2GB dữ liệu được gửi trở lại, mà nó không thể làm.

Chạy mclapply với mc.preschedule=F để tắt tính năng lập lịch trước. Bây giờ, mỗi lần lặp sẽ sinh ra luồng riêng của nó và sẽ trả về dữ liệu riêng của nó. Nó sẽ không diễn ra nhanh như vậy, nhưng nó xoay quanh vấn đề.

Answer 2

Hãy thử sử dụng nextElem() từ gói iterators. Nó hoạt động như một "generator" in Python, vì vậy bạn không phải tải toàn bộ danh sách vào bộ nhớ.