Cách bắt đầu học hadoop

Question

Tôi là nhà phát triển web. Tôi có kinh nghiệm về các công nghệ web như JavaScript, Jquery, Php, HTML. Tôi biết các khái niệm cơ bản về C. Gần đây tôi đã quan tâm đến việc tìm hiểu thêm về mapreduce và hadoop. Vì vậy, tôi đã đăng ký bản thân của mình trong xử lý dữ liệu song song trong mapreduce khóa học tại trường đại học của tôi. Vì tôi không có bất kỳ kiến ​​thức lập trình nào trước đây trong bất kỳ ngôn ngữ hướng đối tượng nào như Java hay C++, tôi nên học cách làm thế nào để giảm thiểu bản đồ và hadoop. Tôi đã bắt đầu đọc Hướng dẫn về hadoop của Yahoo và cũng là Hadoop của Hade Hướng dẫn Definitive 2nd.Edition.

Tôi muốn các bạn đề xuất cho tôi những cách tôi có thể đi về việc học bản đồ và hadoop.

Answer 1

Bạn có thể truy cập vào Hadoop từ nhiều ngôn ngữ khác nhau và một số tài nguyên thiết lập Hadoop cho bạn. Ví dụ, bạn có thể thử bản đồ Elastic MapReduce (EMR) của Amazon, mà không phải trải qua những rắc rối về cấu hình máy chủ, công nhân, v.v. Đây là cách tốt để xử lý MapReduce của bạn trong khi trì hoãn một chút các vấn đề về cách học để sử dụng HDFS tốt, cách quản lý lịch biểu của bạn, v.v.

Không khó để tìm kiếm ngôn ngữ yêu thích của bạn & tìm API Hadoop cho nó hoặc ít nhất một số hướng dẫn về liên kết nó với Hadoop. Ví dụ: đây là hướng dẫn về một ứng dụng PHP chạy trên Hadoop: http://www.lunchpauze.com/2007/10/writing-hadoop-mapreduce-program-in-php.html

Answer 2

Có vẻ như bạn đang đi đúng hướng. Tôi khuyên bạn nên thiết lập một số Máy ảo trên máy tính ở nhà của bạn để bắt đầu lấy những gì bạn thấy trong các cuốn sách và triển khai chúng trong các máy ảo của bạn. Như với nhiều thứ, cách duy nhất để trở nên tốt hơn ở một cái gì đó là thực hành nó. Một khi bạn nhận được vào tôi chắc chắn bạn sẽ có đủ kiến ​​thức để bắt đầu một dự án nhỏ để thực hiện Hadoop với. Dưới đây là một số ví dụ về những điều mọi người đã xây dựng với Hadoop: Powered by Hadoop

Answer 3

1) Tìm hiểu Java. Không có cách nào xung quanh đó, xin lỗi.

2) Lợi nhuận! Nó sẽ rất dễ dàng sau đó - Hadoop khá đơn giản.

Answer 4

Dưới đây là một số video YouTube đẹp trên MapReduce

http://www.youtube.com/watch?v=yjPBkvYh-ss

http://www.youtube.com/watch?v=-vD6PUdf3Js

http://www.youtube.com/watch?v=5Eib_H_zCEY

http://www.youtube.com/watch?v=1ZDybXl212Q

http://www.youtube.com/watch?v=BT-piFBP4fE

Ngoài ra, sau đây là hướng dẫn tốt về cách thiết lập Hadoop trên Ubuntu

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

Answer 5

Tôi chỉ đưa một bài báo về chủ đề này.Lớn các nguồn lực trên, nhưng tôi nghĩ rằng bạn sẽ tìm thấy một số gợi ý thêm ở đây: http://images.globalknowledge.com/wwwimages/whitepaperpdf/WP_CL_Learning_Hadoop.pdf

Answer 6

Trả lời 1:

• Nó rất mong muốn biết Java. Hadoop được viết bằng Java. Định dạng File Sequence phổ biến của nó phụ thuộc vào Java.
• Ngay cả khi bạn sử dụng Hive hoặc Pig, có thể bạn sẽ cần phải viết UDF của riêng bạn một ngày nào đó. Một số người vẫn cố gắng viết chúng bằng các ngôn ngữ khác, nhưng tôi đoán rằng Java có sự hỗ trợ mạnh mẽ và chính yếu hơn cho chúng. công cụ
• Hầu hết Hadoop không đủ (như Sqoop, HCatalog và vân vân), do đó bạn sẽ thấy nhiều lỗi đống dấu vết Java trưởng thành và có lẽ bạn sẽ muốn hack mã nguồn một ngày nào đó

trả lời 2

• Bạn không cần phải biết Java.
• Như những người khác đã nói, nó sẽ rất hữu ích tùy thuộc vào mức độ phức tạp của quá trình xử lý của bạn. Tuy nhiên, có một số tiền đáng kinh ngạc bạn có thể làm chỉ với Pig và nói Hive.
• Tôi đồng ý rằng có khả năng bạn sẽ cần phải viết một hàm do người dùng định nghĩa (UDF), tuy nhiên, tôi đã viết nó bằng Python, và rất dễ dàng để viết UDF trong Python.
• Được cấp, nếu bạn có yêu cầu về hiệu suất rất nghiêm ngặt, thì chương trình MapReduce dựa trên Java sẽ là cách để thực hiện. Tuy nhiên, những tiến bộ lớn về hiệu suất đang được thực hiện tất cả thời gian ở cả Pig và Hive.
• Vì vậy, câu trả lời ngắn cho câu hỏi của bạn là "Không", bạn không cần phải biết Java để thực hiện phát triển Hadoop.

Nguồn: http://www.linkedin.com/groups/Is-it-must-Hadoop-Developer-988957.S.141072851

Answer 7

Go qua Yahoo Hadoop tutorial trước khi đi qua Hadoop the definitive guide. Hướng dẫn của Yahoo cung cấp cho bạn kiến ​​thức rất rõ ràng và dễ hiểu về kiến ​​trúc. Tôi nghĩ rằng các khái niệm không được sắp xếp đúng trong Sách. Điều đó làm cho nó hơi khó để nghiên cứu nó. Vì vậy, không nên cùng nhau nghiên cứu. Đi qua các hướng dẫn web đầu tiên.

Answer 8

Hãy tham gia blog của tôi về Dữ liệu lớn - https://oyermolenko.blog. Tôi đã làm việc với Hadoop được vài năm và trong blog này muốn chia sẻ trải nghiệm của tôi ngay từ đầu. Tôi đến từ môi trường .NET và đối mặt với một vài thách thức liên quan đến việc chuyển đổi từ ngôn ngữ này sang ngôn ngữ khác. Blog của tôi hướng đến những người không làm việc với Hadoop nhưng có một số nền tảng kỹ thuật chính như bạn. Từng bước tôi muốn trang trải cho cả gia đình các dịch vụ Big Data, mô tả các khái niệm và các vấn đề chung mà tôi gặp phải khi làm việc với họ. Hy vọng bạn sẽ thích nó