Nhanh chóng (er) lập chỉ mục và giảm thiểu numpy ưa thích?

Question

Tôi đang cố gắng sử dụng và tăng tốc việc lập chỉ mục ưa thích để "nối" hai mảng và tổng kết một trục của kết quả.

Something như thế này:

$ ipython 
In [1]: import numpy as np 
In [2]: ne, ds = 12, 6 
In [3]: i = np.random.randn(ne, ds).astype('float32') 
In [4]: t = np.random.randint(0, ds, size=(1e5, ne)).astype('uint8') 

In [5]: %timeit i[np.arange(ne), t].sum(-1) 
10 loops, best of 3: 44 ms per loop 

Có một cách đơn giản để đẩy nhanh tiến độ tuyên bố trong In [5]? Tôi có nên sử dụng OpenMP và một số thứ như scipy.weave hoặc Cython 's prange?

Answer 1

numpy.take nhanh hơn nhiều so với lập chỉ mục ưa thích vì một lý do nào đó. Bí quyết duy nhất là nó xử lý mảng bằng phẳng.

In [1]: a = np.random.randn(12,6).astype(np.float32) 

In [2]: c = np.random.randint(0,6,size=(1e5,12)).astype(np.uint8) 

In [3]: r = np.arange(12) 

In [4]: %timeit a[r,c].sum(-1) 
10 loops, best of 3: 46.7 ms per loop 

In [5]: rr, cc = np.broadcast_arrays(r,c) 

In [6]: flat_index = rr*a.shape[1] + cc 

In [7]: %timeit a.take(flat_index).sum(-1) 
100 loops, best of 3: 5.5 ms per loop 

In [8]: (a.take(flat_index).sum(-1) == a[r,c].sum(-1)).all() 
Out[8]: True 

Tôi nghĩ chỉ có cách nào khác bạn sẽ thấy nhiều sự cải thiện tốc độ vượt này sẽ được để viết một hạt nhân tùy chỉnh cho một GPU sử dụng một cái gì đó giống như PyCUDA.