Tôi đã sử dụng numpy/scipy để phân tích dữ liệu. Gần đây tôi bắt đầu học Pandas.Python - Cải tiến chính của Pandas trên Numpy/Scipy
Tôi đã trải qua một vài hướng dẫn và tôi đang cố gắng hiểu những cải tiến chính của Pandas trên Numpy/Scipy là gì.
Dường như với tôi ý tưởng chính của Pandas là kết hợp các mảng cứng nhắc khác nhau trong một Khung dữ liệu, với một số chức năng tiện ích xung quanh nó.
Có điều gì đó cách mạng về Pandas mà tôi vừa mới bỏ lỡ?
Pandas không phải là đặc biệt cách mạng và không sử dụng các hệ sinh thái NumPy và scipy để hoàn thành mục tiêu đó là cùng với một số mã chủ chốt Cython. Nó có thể được xem như một API đơn giản hơn cho chức năng với việc bổ sung các tiện ích quan trọng như kết nối và khả năng nhóm đơn giản hơn, đặc biệt hữu ích cho những người có dữ liệu giống như bảng hoặc chuỗi thời gian. Nhưng, trong khi không cách mạng, Pandas có những lợi ích chính.
Trong một thời gian, tôi cũng đã nhận thấy Pandas chỉ là tiện ích trên đầu trang của NumPy cho những người thích giao diện DataFrame. Tuy nhiên, bây giờ tôi thấy Pandas là cung cấp các tính năng chính này (đây không phải là toàn diện):
Tuy nhiên, có nhược điểm để Pandas:
Tôi cảm thấy giống như việc mô tả Pandas là "cải thiện" Numpy/SciPy nhớ nhiều điểm. Numpy/Scipy khá tập trung vào tính toán số hiệu quả và giải quyết các vấn đề số của loại mà các nhà khoa học và kỹ sư thường giải quyết. Nếu vấn đề của bạn bắt đầu với công thức và liên quan đến giải pháp số từ đó, bạn có thể tốt với hai người đó.
Pandas phù hợp hơn nhiều với các sự cố bắt đầu với dữ liệu được lưu trữ trong tệp hoặc cơ sở dữ liệu và chứa chuỗi cũng như số. Xem xét vấn đề đọc dữ liệu từ truy vấn cơ sở dữ liệu.Ở Pandas, bạn có thể trực tiếp read_sql_query và có phiên bản có thể sử dụng của dữ liệu trong một dòng. Không có chức năng tương đương trong Numpy/SciPy.
Đối với dữ liệu có chuỗi hoặc dữ liệu rời rạc thay vì liên tục, không có khả năng tương đương với khả năng groupby hoặc tham gia giống như cơ sở dữ liệu của bảng trên giá trị khớp.
Đối với chuỗi thời gian, có lợi ích lớn là handling time series data sử dụng chỉ mục ngày giờ, cho phép bạn định lại mẫu trơn tru theo các khoảng thời gian khác nhau, điền vào các giá trị và vẽ chuỗi của bạn vô cùng dễ dàng.
Vì nhiều sự cố của tôi bắt đầu cuộc sống của họ trong bảng tính, tôi cũng rất biết ơn việc xử lý tệp Excel tương đối minh bạch ở cả hai định dạng .xls và .xlsx với uniform interface.
Ngoài ra còn có một hệ sinh thái lớn hơn, với các gói như seaborn cho phép phân tích thống kê trôi chảy hơn và mô hình phù hợp hơn là có thể với các công cụ numpy/scipy cơ bản.
Điểm chính là nó giới thiệu các cấu trúc dữ liệu mới như dataframes, panen vv và có giao diện tốt với cấu trúc và libs khác. Vì vậy, nói chung nó là một phần mở rộng tuyệt vời cho hệ sinh thái python hơn là một cải tiến so với các libs khác. Đối với tôi nó là một công cụ tuyệt vời trong số những người khác như gumpy, bcolz. Thường thì tôi sử dụng nó để định hình lại dữ liệu của mình, xem tổng quan trước khi bắt đầu thực hiện khai phá dữ liệu, v.v.