Xây dựng một mảng trong numpy/scipy bằng cách lặp lại trong Python?

Question

Thông thường, tôi đang xây dựng một mảng bằng cách duyệt qua một số dữ liệu, ví dụ .:

my_array = [] 
for n in range(1000): 
    # do operation, get value 
    my_array.append(value) 
# cast to array 
my_array = array(my_array) 

tôi thấy rằng tôi phải đầu tiên xây dựng một danh sách và sau đó cast nó (sử dụng "mảng") vào một mảng. Có cách nào xung quanh chúng không? Tất cả các cuộc gọi đúc lộn xộn mã ... làm thế nào tôi có thể lặp lại xây dựng "my_array", với nó là một mảng từ đầu?

Answer 1

Nếu tôi hiểu câu hỏi của bạn một cách chính xác, điều này sẽ làm những gì bạn muốn:

# the array passed into your function 
ax = NP.random.randint(10, 99, 20).reshape(5, 4) 

# just define a function to operate on some data 
fnx = lambda x : NP.sum(x)**2 

# apply the function directly to the numpy array 
new_row = NP.apply_along_axis(func1d=fnx, axis=0, arr=ax) 

# 'append' the new values to the original array 
new_row = new_row.reshape(1,4) 
ax = NP.vstack((ax, new_row)) 

Answer 2

Cách khuyến khích để làm điều này là để preallocate trước khi vòng lặp và sử dụng cắt và lập chỉ mục để chèn

my_array = numpy.zeros(1,1000) 
for i in xrange(1000): 
    #for 1D array 
    my_array[i] = functionToGetValue(i) 
    #OR to fill an entire row 
    my_array[i:] = functionToGetValue(i) 
    #or to fill an entire column 
    my_array[:,i] = functionToGetValue(i) 

NumPy không cung cấp một phương pháp array.resize(), nhưng điều này sẽ xa chậm hơn do chi phí tái phân bổ bộ nhớ bên trong một vòng lặp. Nếu bạn phải có tính linh hoạt, thì tôi e rằng cách duy nhất là tạo một array từ một số list.

EDIT: Nếu bạn lo lắng rằng bạn đang phân bổ quá nhiều bộ nhớ cho dữ liệu của mình, tôi sẽ sử dụng phương pháp trên để phân bổ quá mức và sau đó khi vòng lặp hoàn tất, hãy xóa các bit không sử dụng của mảng array.resize(). Đây sẽ là xa, xa nhanh hơn liên tục phân bổ lại mảng bên trong vòng lặp.

EDIT: Đáp lại bình luận @ user248237 của, giả sử bạn biết bất kỳ một kích thước của mảng (để đơn giản):

my_array = numpy.array(10000, SOMECONSTANT) 

for i in xrange(someVariable): 
    if i >= my_array.shape[0]: 
     my_array.resize((my_array.shape[0]*2, SOMECONSTANT)) 

    my_array[i:] = someFunction() 

#lop off extra bits with resize() here 

Nguyên tắc chung là "phân bổ nhiều hơn bạn nghĩ rằng bạn sẽ cần, và nếu mọi thứ thay đổi, hãy thay đổi kích cỡ mảng càng ít lần càng tốt ". Tăng gấp đôi kích thước có thể được coi là quá mức, nhưng trên thực tế, đây là phương pháp được sử dụng bởi một số cấu trúc dữ liệu trong một số thư viện chuẩn trong các ngôn ngữ khác (ví dụ: java.util.Vector).).

Answer 3

NumPy cung cấp một phương pháp 'fromiter':

def myfunc(n): 
    for i in range(n): 
     yield i**2 


np.fromiter(myfunc(5), dtype=int) 

trong đó sản lượng

array([ 0, 1, 4, 9, 16])