Số liệu thống kê trên luồng lớn các số nguyên trong java

Question

Tôi đang đọc một số lượng lớn các số nguyên từ một tệp và cuối cùng tôi muốn lấy một số thống kê cơ bản từ các số nguyên này (trung bình, trung bình, 25 phần trăm, 75 phần trăm, v.v ...). Tôi có thể tính toán một số số liệu thống kê này trên đường đi, nhưng có vẻ như với tôi rằng việc tính tỷ lệ phần trăm 25/75 sẽ phức tạp. Cách tiếp cận đơn giản nhất, tôi nghĩ, sẽ là đặt các số nguyên trong danh sách và thực hiện thống kê từ danh sách đó. Tuy nhiên, vì danh sách quá lớn nên nó có thể làm chậm chương trình để sử dụng quá nhiều bộ nhớ. Các bạn có bất kỳ đề nghị gì không? Đây là loại làm thế nào tôi có được các dữ liệu và hai lựa chọn, tôi nghĩ:

Scanner input = new Scanner(new File("name")); 
ArrayList<Integer> lits= new ArrayList<Integer>(); 
while(input.hasNextLine()){ 
    list.add(Integer.parseInt(input.nextLine())); 
} 
doStatistics(list); 

HOẶC

Scanner input = new Scanner(new File("name")); 
while(input.hasNextLine()){ 
    //I dont know how I would acomplish this for the percentile stats 
    acqquireStats(Integer.parseInt(input.nextLine())); 
} 

Answer 1

Do số lượng giá trị nhỏ hơn đáng kể so với số lượng mẫu, nên lưu trữ số trên mỗi giá trị hơn r everse.

Long[] samples = new Long[101]; 

while(input.hasNextLine()){ 
    try{ 
     samples[Math.max(0, Math.min(100, Integer.parseInt(input.nextLine())))]; 
    } catch (ParseException e){/*not a number*/} 
} 

Điều này khiến bạn có một tập dữ liệu khổng lồ được biểu thị bằng một mảng nhỏ.

Answer 2

Bài viết này và John D. Cook là cược tốt nhất của bạn:

http://www.codeproject.com/Articles/33781/Calculate-Percentiles-in-O-1-space-and-O-n-time