Scikit và Pandas: Lắp dữ liệu lớn

Question

Làm cách nào để sử dụng tính năng tìm hiểu để đào tạo mô hình trên dữ liệu csv lớn (~ 75MB) mà không gặp sự cố về bộ nhớ?

Tôi đang sử dụng máy tính xách tay IPython làm môi trường lập trình và các gói gấu trúc + sklearn để phân tích dữ liệu từ hướng dẫn nhận dạng chữ số của kaggle.

Các dữ liệu có sẵn trên webpage, liên kết đến my code, và đây là error message:

KNeighborsClassifier được sử dụng để dự đoán.

Vấn đề:

"MemoryError" xảy ra khi tải dữ liệu lớn sử dụng read_csv chức năng. Để tạm thời bỏ qua vấn đề này, tôi phải khởi động lại hạt nhân , sau đó hàm read_csv tải thành công tệp, nhưng cùng một lỗi xảy ra khi tôi chạy lại cùng một ô.

Khi read_csv chức năng tải các tập tin thành công, sau khi thực hiện thay đổi đối với dataframe, tôi có thể vượt qua các tính năng và nhãn để phù hợp của KNeighborsClassifier() chức năng. Tại thời điểm này, lỗi bộ nhớ tương tự xảy ra.

tôi thử như sau:

Duyệt qua tệp CSV trong khối, và phù hợp với những dữ liệu cho phù hợp, nhưng vấn đề là mô hình tiên đoán được ghi đè tất cả thời gian cho một đoạn dữ liệu.

Bạn nghĩ tôi có thể làm gì để đào tạo thành công mô hình của mình mà không gặp phải vấn đề về bộ nhớ?

Answer 1

Lưu ý: khi bạn tải dữ liệu bằng gấu trúc, nó sẽ tạo đối tượng DataFrame trong đó mỗi cột có kiểu dữ liệu đồng nhất cho tất cả các hàng nhưng 2 cột có thể có kiểu dữ liệu riêng biệt (ví dụ: số nguyên, ngày, chuỗi).

Khi bạn chuyển một ví dụ DataFrame đến mô hình học hỏi, trước tiên nó sẽ phân bổ mảng numpy 2D đồng nhất với dtype np.float32 hoặc np.float64 (tùy thuộc vào việc triển khai mô hình). Tại thời điểm này, bạn sẽ có 2 bản sao của tập dữ liệu của bạn trong bộ nhớ.

Để tránh điều này, bạn có thể viết/sử dụng lại trình phân tích cú pháp CSV phân bổ trực tiếp dữ liệu theo định dạng nội bộ/dtype được mong đợi bằng mô hình tìm hiểu. Bạn có thể thử ví dụ numpy.loadtxt (xem chuỗi tài liệu cho các tham số). Ngoài ra nếu dữ liệu của bạn rất thưa thớt (nhiều giá trị bằng 0) thì tốt hơn là sử dụng cơ sở dữ liệu scipy.sparse và mô hình học hỏi có thể xử lý định dạng đầu vào như vậy (kiểm tra tài liệu để biết). Tuy nhiên, định dạng CSV không phù hợp lắm với dữ liệu thưa thớt và tôi không chắc có tồn tại trình phân tích cú pháp CSV-to- scipy.sparse trực tiếp hay không.

Edit: để tham khảo KNearestNeighborsClassifer phân bổ khoảng cách mảng tạm thời với hình dạng (n_samples_predict, n_samples_train) mà là rất lãng phí khi chỉ (n_samples_predict, n_neighbors) là cần thiết để thay thế.Sự cố này có thể được theo dõi tại đây:

https://github.com/scikit-learn/scikit-learn/issues/325