Nhiệm vụ học máy: công cụ nào để sử dụng?

Question

Tôi hiện đang thử nghiệm với một nhiệm vụ ML liên quan đến đào tạo được giám sát của một mô hình phân loại. Cho đến nay, tôi đã có ~ 5 triệu ví dụ đào tạo và ~ 5 triệu ví dụ về xác thực chéo. Mỗi ví dụ có, tại thời điểm này, 46 tính năng, tuy nhiên tôi có thể muốn tạo thêm 10 tính năng nữa trong tương lai gần, vì vậy bất kỳ giải pháp nào cũng nên để lại một số chỗ để cải thiện.

Vấn đề của tôi là như sau: Tôi sử dụng công cụ nào để giải quyết vấn đề này? Tôi muốn sử dụng các khu rừng ngẫu nhiên hoặc SVM, tuy nhiên tôi sợ rằng điều này có thể quá chậm trong trường hợp của tôi. Tôi đã xem xét Mahout, nhưng quay đi vì nó xuất hiện để yêu cầu một số lượng nhất định của cấu hình cùng với rối tung với các dòng lệnh script. Tôi muốn mã trực tiếp chống lại một số (cũng tài liệu!) Thư viện hoặc xác định mô hình của tôi với một GUI.

Tôi cũng nên chỉ định rằng tôi đang tìm kiếm thứ gì đó sẽ chạy trên Windows (không có thứ như Cygwin) và các giải pháp phù hợp với .NET được đánh giá cao.

Bạn có thể tưởng tượng rằng, khi thời gian sẽ, đến, mã sẽ được chạy trên một Cluster Compute Eight Extra Large Instance trên Amazon EC², vì vậy bất cứ điều gì mà làm cho sử dụng rộng rãi của RAM và CPU đa lõi được chào đón.

Cuối cùng nhưng không kém, tôi sẽ xác định rằng dữ liệu của tôi là dày đặc (trong đó không có giá trị còn thiếu/tất cả các cột có giá trị cho mỗi vector)

Answer 1

tôi sẽ khuyên bạn nên nhìn vào ngẫu nhiên gradient descent cho quy mô này vấn đề. Một công cụ tốt để xem là VowpalWabbit. Ở kích thước đó, bạn có thể chạy thử nghiệm của mình trên máy tính để bàn với thông số kỹ thuật hợp lý. Nhược điểm duy nhất cho bạn, tôi nghĩ rằng nó không phải là Windows trung tâm, nhưng mặc dù tôi đã không kiểm tra nó nên chạy trên Cygwin.

EDIT: Đã có sự quan tâm lớn từ các nhà phát triển để có được VowpalWabbit chạy trên Windows. Tính đến tháng 3 năm 2013 VowpalWabbit (phiên bản 7.2) chạy trên Windows ra khỏi hộp. Có một vài tính năng nâng cao/tùy chọn chưa được triển khai trên Windows, một trong số đó đang chạy VowpalWabbit như một daemon, nhưng có vẻ như nó sẽ được xử lý trong tương lai ngắn hạn.

Answer 2

Tôi thường chạy các bộ dữ liệu tính/hàng tương tự trong R trên EC2 (loại 16 lõi/60 Gb mà bạn đang đề cập đặc biệt hữu ích trong trường hợp bạn đang sử dụng phương pháp có thể tận dụng nhiều cpus chẳng hạn như gói caret.) Như bạn đã đề cập, không phải tất cả các phương pháp học (như SVM) sẽ hoạt động tốt trên tập dữ liệu đó.

Bạn có thể muốn xem xét sử dụng mẫu 10% hoặc hơn để tạo mẫu chuẩn/hiệu suất nhanh trước khi chuyển sang chạy trên toàn bộ tập dữ liệu.

Nếu bạn muốn hiệu suất cực cao thì Vowpal Wabbit phù hợp hơn (nhưng nó chỉ hỗ trợ người học tuyến tính tổng quát nên không có gbm hoặc Random Forest.) Bên cạnh đó, VW không thân thiện với windows.