Hiệu suất tạo chỉ mục

Question

Khi cố gắng chọn phương pháp lập chỉ mục để đề xuất, tôi đã cố gắng để làm hài lòng hiệu suất. Tuy nhiên, các phép đo lẫn lộn tôi rất nhiều. Tôi đã chạy nhiều lần trong các đơn đặt hàng khác nhau, nhưng các phép đo vẫn nhất quán. Dưới đây là cách tôi đã đo hiệu suất:

for N = [10000 15000 100000 150000] 
    x = round(rand(N,1)*5)-2; 
    idx1 = x~=0; 
    idx2 = abs(x)>0; 

    tic 
    for t = 1:5000 
     idx1 = x~=0; 
    end 
    toc 

    tic 
    for t = 1:5000 
     idx2 = abs(x)>0; 
    end 
    toc 
end 

Và đây là kết quả:

Elapsed time is 0.203504 seconds. 
Elapsed time is 0.230439 seconds. 

Elapsed time is 0.319840 seconds. 
Elapsed time is 0.352562 seconds. 

Elapsed time is 2.118108 seconds. % This is the strange part 
Elapsed time is 0.434818 seconds. 

Elapsed time is 0.508882 seconds. 
Elapsed time is 0.550144 seconds. 

tôi đã kiểm tra và cho các giá trị khoảng 100000 này cũng xảy ra, ngay cả ở các phép đo 50000 lạ xảy ra.

Vì vậy, câu hỏi của tôi là: Có ai khác trải nghiệm điều này trong một phạm vi nhất định hay không và điều gì gây ra điều này? (Đó có phải là lỗi không?)

Answer 1

Điều này có thể do một số matlab tối ưu hóa tự động sử dụng cho cơ bản của nó Linear Algebra chương trình con.

Cũng giống như bạn, cấu hình của tôi (OSX 10.8.4, R2012a với cài đặt mặc định) mất nhiều thời gian để tính idx1 = x~=0 cho x (10e5 phần tử) hơn x (11e5 phần tử). Xem bảng bên trái của hình nơi thời gian xử lý (trục y) được đo cho kích thước vectơ khác nhau (trục x). Bạn sẽ thấy thời gian proceesing thấp hơn cho N> 103000. Trong bảng điều khiển này, tôi cũng hiển thị số lượng lõi đã hoạt động trong quá trình tính toán. Bạn sẽ thấy rằng không có sự sụt giảm cho cấu hình một lõi. Nó có nghĩa là matlab không tối ưu hóa việc thực hiện ~= khi 1 lõi hoạt động (không có sự song song có thể). Matlab cho phép một số thói quen tối ưu hóa khi hai điều kiện được đáp ứng: nhiều lõi và một vectơ có kích thước đủ.

Bảng bên phải hiển thị kết quả khi feature('accel','on'/off') được đặt thành tắt (doc). Ở đây, chỉ có một lõi hoạt động (1 lõi và 4 lõi giống hệt nhau) và do đó không thể tối ưu hóa được.

Cuối cùng, chức năng tôi sử dụng để kích hoạt/hủy kích hoạt lõi là maxNumCompThreads. Theo Loren Shure, maxNumCompThreads điều khiển cả JIT và BLAS. Vì feature('JIT','on'/'off') không đóng vai trò trong hiệu suất, BLAS là tùy chọn cuối cùng còn lại.

Tôi sẽ để lại câu cuối cùng cho Loren: "Thông điệp chính ở đây là bạn thường không cần phải sử dụng hàm này [maxNumCompThreads] ở tất cả! Tại sao? Bởi vì chúng tôi muốn làm cho MATLAB thực hiện công việc tốt nhất có thể cho bạn. "

accel = {'on';'off'}; 
figure('Color','w'); 
N = 100000:1000:105000; 

for ind_accel = 2:-1:1 
    eval(['feature(''accel'',''' accel{ind_accel} ''')']); 
    tElapsed = zeros(4,length(N)); 
    for ind_core = 1:4 
     maxNumCompThreads(ind_core); 
     n_core = maxNumCompThreads; 
     for ii = 1:length(N) 
      fprintf('core asked: %d(true:%d) - N:%d\n',ind_core,n_core, ii); 
      x = round(rand(N(ii),1)*5)-2; 
      idx1 = x~=0; 
      tStart = tic; 
      for t = 1:5000 
       idx1 = x~=0; 
      end 
      tElapsed(ind_core,ii) = toc(tStart); 
     end 
    end 
    h2 = subplot(1,2,ind_accel); 
    plot(N, tElapsed,'-o','MarkerSize',10); 
    legend({('1':'4')'}); 
    xlabel('Vector size','FontSize',14); 
    ylabel('Processing time','FontSize',14); 
    set(gca,'FontSize',14,'YLim',[0.2 0.7]); 
    title(['accel ' accel{ind_accel}]); 
end 

Answer 2

Tôi nghĩ rằng đây là điều cần làm với JIT (kết quả dưới đây đang sử dụng 2011b). Tùy thuộc vào hệ thống, phiên bản của Matlab, kích thước của các biến, và chính xác những gì trong vòng lặp (s), nó không phải là luôn luôn nhanh hơn để sử dụng JIT. Điều này liên quan đến hiệu ứng "khởi động", đôi khi nếu bạn chạy một tệp m nhiều lần trong một phiên, nó sẽ nhanh hơn sau lần chạy đầu tiên, vì máy gia tốc chỉ phải biên dịch một số phần của mã một lần.

JIT trên (tính năng Accel trên)

Elapsed time is 0.176765 seconds. 
Elapsed time is 0.185301 seconds. 

Elapsed time is 0.252631 seconds. 
Elapsed time is 0.284415 seconds. 

Elapsed time is 1.782446 seconds. 
Elapsed time is 0.693508 seconds. 

Elapsed time is 0.855005 seconds. 
Elapsed time is 1.004955 seconds. 

JIT tắt (Tính năng Accel tắt)

Elapsed time is 0.143924 seconds. 
Elapsed time is 0.184360 seconds. 

Elapsed time is 0.206405 seconds. 
Elapsed time is 0.306424 seconds. 

Elapsed time is 1.416654 seconds. 
Elapsed time is 2.718846 seconds. 

Elapsed time is 2.110420 seconds. 
Elapsed time is 4.027782 seconds. 

ETA, thật là thú vị để xem những gì sẽ xảy ra nếu bạn sử dụng số nguyên thay vì đôi:

JIT trên cùng một mã nhưng đã chuyển đổi x bằng cách sử dụng int8

Elapsed time is 0.202201 seconds. 
Elapsed time is 0.192103 seconds. 

Elapsed time is 0.294974 seconds. 
Elapsed time is 0.296191 seconds. 

Elapsed time is 2.001245 seconds. 
Elapsed time is 2.038713 seconds. 

Elapsed time is 0.870500 seconds. 
Elapsed time is 0.898301 seconds. 

JIT tắt, sử dụng int8

Elapsed time is 0.198611 seconds. 
Elapsed time is 0.187589 seconds. 

Elapsed time is 0.282775 seconds. 
Elapsed time is 0.282938 seconds. 

Elapsed time is 1.837561 seconds. 
Elapsed time is 1.846766 seconds. 

Elapsed time is 2.746034 seconds. 
Elapsed time is 2.760067 seconds.