Làm thế nào để thực hành lập trình Hadoop?

Question

Chỉ mới bắt đầu xem qua các video giới thiệu Hadoop. Làm cách nào để tự mình thực hành? Có cách nào được đề xuất để cài đặt trên địa phương để thực hành không?

Answer 1

Tôi thấy rằng tải xuống và cài đặt Hadoop, chơi với nó bằng cách làm việc ví dụ, làm cho rất nhiều sai lầm và được ok với điều đó làm việc tốt để thực hành.

Bằng cách "cài đặt trên địa phương" nếu bạn đang nói "làm thế nào để cài đặt nó trên máy tính địa phương của tôi mà không sử dụng HDFS?", Có một excellent guide here.

Answer 2

Nếu bạn muốn tìm hiểu về Hadoop và Bigdata, nhìn vào bigdatauniversity.com. Nó miễn phí và họ cung cấp hướng dẫn về cách cài đặt Hadoop cục bộ trên một máy ảo và/hoặc trong các Dịch vụ Web của Amazon. BigDataUniversity cung cấp các phòng thí nghiệm và hướng dẫn để giúp hướng dẫn thực hành của bạn. Tôi thấy nó hữu ích cho đến nay.

Answer 3

... Tôi thích bigdatauniversity.com và cũng lưu ý rằng MapR, Hortonworks và Cloudera đều cung cấp môi trường có thể tải xuống mà bạn có thể sử dụng để làm quen với mô hình hoạt động Hadoop.

Thực tế, nếu bạn đang nghiên cứu vấn đề này với một mắt hướng tới làm việc với Hadoop ở quy mô Doanh nghiệp, bạn nên khám phá các sản phẩm đang được triển khai ở cấp đó.

Tôi đã có một chút cơ hội để khám phá thực hành với môi trường Hadoop của MapR và có thể khen ngợi nó như một cách hay để xem xét vấn đề.

--- v

Answer 4

Gần đây Cloudera đưa ra một nền tảng mới trực tuyến, nơi bạn có thể chơi với Hadoop và hệ sinh thái của nó càng nhiều càng tốt want.Here bạn đi - cloudera.com/live

Answer 5

tôi sẽ đề nghị https://developer.yahoo.com/hadoop/tutorial/ cho hadoop nghiên cứu nhịp độ. Một hướng dẫn rất toàn diện, từng bước, từ sơ cấp đến nâng cao.

Answer 6

Bạn có thể cài đặt một hộp ảo có Hadoop đi kèm nhưng bạn có thể gặp phải một số vấn đề với nó. Tôi đã làm như vậy đầu tiên khi tôi bắt đầu học Hadoop và sau khi một số vấn đề (IP, internet, cấu hình khác nhau), tôi quyết định tìm hiểu với một cài đặt Linux.

Bạn có thể tìm thấy một hướng dẫn ở đây: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

Answer 7

Tôi đã được đào tạo người trên Hadoop cho 2 năm nay. Đây là hai xu của tôi.

Đối với phần học tập, tôi muốn giới thiệu các nguồn sau (như đã đề cập bởi những người khác quá ở trên):

1. Yahoo Blog
2. Hadoop Definitive Guide
3. HortonWorks Practice Tutorials

Và vì tập luyện, truyền thống mọi người đã sử dụng Máy ảo Hadoop nhưng cách tiếp cận này có những nhược điểm của nó:

1. Máy ảo có kích thước rất lớn ví dụ như máy ảo của HortonWorks là 9,9 GB.
2. Bạn có thể phải nâng cấp RAM lên 8GB.
3. Một số BIOS không cho phép ảo hóa. Bạn có thể thay đổi cài đặt bios.
4. Một số máy như Office Desktops/Laptops có thể không cho phép cài đặt.

Sinh viên của tôi và tôi cũng phải đối mặt với những vấn đề này trong khi đó. Vì vậy, chúng tôi thiết lập một cụm cho sinh viên của chúng tôi để thực hành Hadoop, Spark và các công nghệ liên quan. Và chúng tôi đặt tên nó là CloudxLab.com.