Cách sử dụng Mahout trong môi trường Windows?

Question

Tôi đang cố gắng sử dụng Mahout trong một ứng dụng đang chạy trên Windows. Tôi muốn xây dựng các cụm từ một chỉ số lucene bằng cách sử dụng k-means. Ngay sau khi tôi phải tạo các tệp chuỗi (tạo các vectơ từ một chỉ mục lucene), tôi nhận được một Hadoop-Exception, vì Hadoop thực hiện các lệnh gọi tới các chương trình không xác định trong môi trường Windows (ví dụ chmod). Chạy trong Cygwin không phải là một tùy chọn, vì tôi muốn có thể chạy ứng dụng từ nhật thực.

Vì vậy, câu hỏi của tôi là

có cách nào để tránh phải tạo các tệp chuỗi để truy xuất vectơ của tôi từ chỉ mục lucene không?

hoặc có cách nào để tạo tệp chuỗi trong môi trường Windows không?

Answer 1

Cách duy nhất bạn có thể chạy Hadoop trên môi trường Windows là cài đặt Cygwin. Mọi chi tiết, xem bài đăng blog này:

http://hayesdavis.net/2008/06/14/running-hadoop-on-windows/

Cygwin sẽ cung cấp tất cả các tiện ích dòng lệnh (như chmod) rằng Hadoop dựa vào. Bạn vẫn có thể chạy các công việc Hadoop của bạn từ bên trong Eclipse nếu bạn muốn.

Answer 2

Bạn có biết API SequenceFile không? Hãy xem tại đây: http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/io/SequenceFile.html Bạn có thể tự mình viết/đọc dữ liệu.

Tôi nghĩ bạn có thể chạy Mahout từ nhật thực trong Windown ở chế độ độc lập. Nhưng bạn sẽ xuất hiện một số comings ngắn và rào cản. Bạn nên thử cách xa bạn đến.

Theo tôi, bạn không nên nhấn mạnh vào việc chạy mahout từ nhật thực. ;-)

Answer 3

Bạn có thể sử dụng máy ảo để chạy môi trường Hadoop của mình. Đối với tôi, giải pháp tốt nhất là sử dụng dự án http://hortonworks.com/. Mọi thứ hoạt động khá tốt.