tính toán trung bình và phương sai với một lặp

Question

Tôi có một iterator số, ví dụ như một đối tượng file:

f = open("datafile.dat") 

bây giờ tôi muốn để tính toán:

mean = get_mean(f) 
sigma = get_sigma(f, mean) 

việc thực hiện tốt nhất là gì? Giả sử rằng tập tin lớn và tôi muốn tránh đọc nó hai lần.

Answer 1

Nếu bạn muốn lặp một lần, bạn có thể viết hàm sum của bạn:

def mysum(l): 
    s2 = 0 
    s = 0 
    for e in l: 
     s += e 
     s2 += e * e 
    return (s, s2) 

và sử dụng kết quả trong chức năng sigma của bạn.

Sửa: bây giờ bạn có thể tính toán phương sai như thế này: (s2 - (s * s)/N)/N

Bằng việc tài khoản của bình luận @ Adam Bowen,
ghi nhớ rằng nếu chúng tôi sử dụng thủ thuật toán học và chuyển đổi công thức gốc
chúng tôi có thể làm giảm kết quả.

Answer 2

Tạo danh sách từ lần lặp lại hoặc sử dụng itertools.tee().

Answer 3

Tôi không chắc chắn có nhiều lựa chọn.

Bạn sẽ phải lặp lại các số của mình hai lần trong mọi trường hợp vì độ lệch chuẩn sẽ yêu cầu thông tin trung bình trên mỗi giá trị.

Nếu bạn có đủ bộ nhớ, bạn có thể đạt được quyền truy cập I/O bằng cách tải tệp của bạn vào bộ nhớ trong lần lặp đầu tiên nhưng đó là về IMO.

Answer 4

Bạn có hai giải pháp

1. Lập một danh sách ra khỏi iterator và vòng lặp của bạn nó như nhiều lần như bạn muốn. Nhược điểm là mọi thứ sẽ có trong bộ nhớ, vì vậy không phù hợp nếu tệp của bạn lớn. sử dụng đơn giản của itertools.tee cũng sẽ không giúp bạn tiết kiệm

2. Không có giải pháp nào khác, trừ khi , bạn không cần phải vượt qua sản lượng get_mean để get_sigma, bởi vì trong trường hợp đó họ chỉ có thể ở series, nhưng nếu bạn loại bỏ hạn chế này thì bạn có thể chạy cả hai hàm song song bằng cách sử dụng các chuỗi và sử dụng itertools.tee để có hai trình lặp từ một số

Answer 5

Tôi nghĩ Nick D có câu trả lời đúng.

Giả sử bạn muốn tính cả trung bình và phương sai trong một lần quét tệp (và bạn không thực sự muốn hai hàm được gọi là cái kia), bạn có thể thu thập tổng giá trị và của hình vuông của họ và họ sử dụng số tiền như vậy (toghether với số lượng các yếu tố đọc) để tính toán tại cùng một thời gian trung bình và phương sai.

Có một số vấn đề ổn định số, nhưng ý tưởng trong

http://en.wikipedia.org/wiki/Computational_formula_for_the_variance

là thành phần cơ bản mà bạn cần. Một số chi tiết đang ở

http://en.wikipedia.org/wiki/Algorithms_for_calculating_variance

nơi tôi đề nghị bạn đọc "thuật toán Naïve".

Hope this helps,

Massimo

Answer 6

Như tôi đã cảm thấy rằng có những yếu tố tốt nằm rải rác ở nhiều câu trả lời, tôi xin tóm tắt:

• Nếu tập tin của bạn là quá lớn để thuận tiện phù hợp với bộ nhớ, và nếu bạn muốn có độ chính xác cao trong phương sai, bạn cần phải đọc tệp hai lần (với một lần truyền, phương sai là sự khác biệt giữa hai số lớn, không chính xác vì giới hạn điểm động). Lưu ý rằng hệ điều hành của bạn có khả năng cung cấp một số tốc độ tự động cho việc đọc tệp thứ hai, vì nó có thể vẫn còn trong RAM trong lần truyền thứ hai.

• Nếu bạn không quan tâm đến độ chính xác của phương sai, bạn chỉ có thể lặp lại một lần trên tệp và tính số lượng được đề xuất bởi Nick D, với các chi tiết được cung cấp trong nhận xét của Adam Bowen.

Answer 7

Bạn có thể tính cả hai lần. Xem:

http://www.johndcook.com/standard_deviation.html

Answer 8

Bạn có thể sử dụng MapReduce một cách thời trang thanh lịch

mẫu là danh sách bạn muốn nhận sai của nó

mẫu = [a, b, c, .. .]

mean = float(reduce(lambda x,y : x+y, sample))/len(sample) 

variance = reduce(lambda x,y: x+y, map(lambda xi: (xi-mean)**2, sample))/ len(sample) 

trong một dòng ngắn gọn mã:

variance = reduce(lambda x,y: x+y, map(lambda xi: (xi-(float(reduce(lambda x,y : x+y, sample))/len(sample)))**2, sample))/ len(sample)