Pandas: Sự khác nhau giữa giá trị lớn nhất và nhỏ nhất trong nhóm

Question

Cho một khung dữ liệu mà trông như thế này

GROUP VALUE 
    1  5 
    2  2 
    1  10 
    2  20 
    1  7 

Tôi muốn tính toán độ lệch giữa giá trị lớn nhất và nhỏ nhất trong mỗi nhóm. Tức là, kết quả phải là

GROUP DIFF 
    1  5 
    2  18 

Cách dễ dàng để thực hiện điều này trong Pandas là gì?

Cách nhanh nhất để thực hiện điều này trong Pandas cho một khung dữ liệu với khoảng 2 triệu hàng và 1 triệu nhóm là gì?

Answer 1

Bạn có thể sử dụng groupby(), min(), và max():

df.groupby('GROUP')['VALUE'].apply(lambda g: g.max() - g.min()) 

Answer 2

groupby/agg thường thực hiện tốt nhất khi bạn tận dụng lợi thế của các tập hợp built-in như 'max' và 'min'. Vì vậy, để có được sự khác biệt, lần đầu tiên tính toán max và min và sau đó trừ:

import pandas as pd 
df = pd.DataFrame({'GROUP': [1, 2, 1, 2, 1], 'VALUE': [5, 2, 10, 20, 7]}) 
result = df.groupby('GROUP')['VALUE'].agg(['max','min']) 
result['diff'] = result['max']-result['min'] 
print(result[['diff']]) 

mang

 diff 
GROUP  
1   5 
2  18 

Answer 3

Sử dụng @unutbu 's df

mỗi thời gian
unutbu của giải pháp tốt nhất trên các bộ dữ liệu lớn

import pandas as pd 
import numpy as np 

df = pd.DataFrame({'GROUP': [1, 2, 1, 2, 1], 'VALUE': [5, 2, 10, 20, 7]}) 

df.groupby('GROUP')['VALUE'].agg(np.ptp) 

GROUP 
1  5 
2 18 
Name: VALUE, dtype: int64 

---

np.ptp docs lợi nhuận phạm vi của một mảng

---

thời gian
nhỏ df

lớn df
df = pd.DataFrame(dict(GROUP=np.arange(1000000) % 100, VALUE=np.random.rand(1000000)))

lớn df
nhiều nhóm
df = pd.DataFrame(dict(GROUP=np.arange(1000000) % 10000, VALUE=np.random.rand(1000000)))