Các tập dữ liệu lớn miễn phí để thử nghiệm với Hadoop

Question

Bạn có biết bất kỳ tập dữ liệu lớn nào để thử nghiệm với Hadoop miễn phí/chi phí thấp không? Bất kỳ liên kết con trỏ/liên kết nào được đánh giá cao.

Prefernce:

• Atleast một GB dữ liệu.

• Dữ liệu nhật ký sản xuất của máy chủ web.

Rất ít trong số họ mà tôi tìm thấy cho đến nay:

1. Wikipedia dump

2. http://wiki.freebase.com/wiki/Data_dumps

3. http://aws.amazon.com/publicdatasets/

Ngoài ra, chúng tôi có thể chạy trình thu thập thông tin của riêng chúng tôi để thu thập dữ liệu từ các trang web, ví dụ: Wikipedia? Bất kỳ con trỏ nào về cách thực hiện điều này cũng được đánh giá cao.

Answer 1

Vài điểm về câu hỏi của bạn về thu thập thông tin và wikipedia.

Bạn đã liên kết với wikipedia data dumps và bạn có thể sử dụng dự án Cloud9 từ UMD để làm việc với dữ liệu này trong Hadoop.

Họ có một trang về vấn đề này: Working with Wikipedia

nguồn dữ liệu khác để thêm vào danh sách này là:

• ClueWeb09 - 1 tỷ trang web thu thập giữa Jan và tháng hai 09. 5TB nén.

Sử dụng trình thu thập thông tin để tạo dữ liệu phải được đăng trong một câu hỏi riêng biệt với một câu hỏi về Hadoop/MapReduce tôi sẽ nói.

Answer 2

Một nguồn rõ ràng: the Stack Overflow trilogy data dumps. Chúng được cung cấp miễn phí theo giấy phép Creative Commons.

Answer 3

Đó là không có tập tin log nhưng có lẽ bạn có thể sử dụng các tập tin hành tinh từ OpenStreetMap: http://wiki.openstreetmap.org/wiki/Planet.osm

giấy phép CC, khoảng 160 GB (giải nén)

Có file cũng nhỏ hơn cho mỗi lục địa: http://wiki.openstreetmap.org/wiki/World

Answer 4

Đây là một bộ sưu tập của 189 bộ dữ liệu cho máy học (đó là một trong những ứng dụng đẹp nhất cho hadoop g): http://archive.ics.uci.edu/ml/datasets.html