Tại sao kết nối bị chấm dứt

Question

Tôi đang thử mô hình phân loại rừng ngẫu nhiên bằng cách sử dụng thư viện H2O bên trong R trên bộ đào tạo có 70 triệu hàng và 25 đối tượng dạng số. Tổng kích thước tệp là 5,6 GB.

Kích thước của tệp xác thực là 1 GB.

Tôi có RAM 16 GB và 8 lõi CPU trên hệ thống của mình.

Hệ thống có thể đọc thành công cả hai tệp trong đối tượng H2O.

Sau đó tôi đưa ra dưới đây lệnh để xây dựng mô hình:

model <- h2o.randomForest(x = c(1:18,20:25), y = 19, training_frame = traindata, 
          validation_frame = testdata, ntrees = 150, mtries = 6) 

Nhưng sau vài phút (không tạo ra bất kỳ cây), tôi nhận được lỗi sau:

"Error in .h2o.doSafeREST(conn = conn, h2oRestApiVersion = h2oRestApiVersion, : Unexpected CURL error: Recv failure: Connection reset by peer"

Tuy nhiên Nếu Tôi đã thử trên mã với 1 cây, chạy nó thành công.

Lỗi trên có xảy ra do sự cố bộ nhớ không? Bất kỳ trợ giúp sẽ được đánh giá cao.

Answer 1

Có thể bạn đã hết bộ nhớ. Hãy thử tìm kiếm việc sử dụng bộ nhớ của hệ thống trong quá trình phát triển rừng. Cũng cố gắng để khởi động đào tạo trực tiếp từ giao diện điều khiển web H2O (http://localhost:54321/ theo mặc định), có thể nó sẽ cung cấp cho lỗi chi tiết hơn.

Answer 2

Đó là lỗi OutOfMemoryError. Một biến thể của thông báo lỗi này ở phía bên R là:

Error in .h2o.doSafeREST(conn = conn, h2oRestApiVersion = h2oRestApiVersion, : 
    Unexpected CURL error: Empty reply from server 

Kiểm tra các bản ghi máy chủ h2o, mà bạn nên làm là tốt, sẽ cho bạn biết:

10-08 20:11:57.165 192.168.0.4:54321  2125 #58072-18 INFO: Total file size: 1.81 GB 
10-08 20:11:57.165 192.168.0.4:54321  2125 #58072-18 INFO: Parse chunk size 4194304 
     onExCompletion for water.parser.ParseDataset$MultiFileParseTask@3588360e 
     java.lang.OutOfMemoryError: Java heap space 
: 
: 
Exception in thread "FJ-0-11" java.lang.OutOfMemoryError: Java heap space 
2015-10-08 20:13:14.493:WARN:oejut.QueuedThreadPool:1 threads could not be stopped 
10-08 20:13:23.033 192.168.0.4:54321  2125 FJ-0-5 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:23.458 192.168.0.4:54321  2125 FJ-0-3 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:23.033 192.168.0.4:54321  2125 FJ-0-13 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:23.033 192.168.0.4:54321  2125 FJ-0-7 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:26.541 192.168.0.4:54321  2125 FJ-0-5 FATAL: Exiting. 
10-08 20:13:26.574 192.168.0.4:54321  2125 FJ-0-7 FATAL: Exiting. 
10-08 20:13:26.575 192.168.0.4:54321  2125 FJ-0-3 FATAL: Exiting. 
10-08 20:13:26.575 192.168.0.4:54321  2125 FJ-0-13 FATAL: Exiting. 

Tôi đang chạy này trên h2o Slater (3.2.0.5), do đó, tùy thuộc vào phiên bản của bạn, điều này có thể khác nhau.