Tôi có thể sử dụng dtrace trên OS X 10.5 để xác định xem phần subsl của tôi có gây ra sự phân bổ bộ nhớ nhất không?

Question

Chúng tôi có một codebase perl khá lớn.

Một số quy trình chạy trong nhiều giờ (công việc ETL) đột nhiên bắt đầu tiêu tốn RAM nhiều hơn bình thường. Phân tích các thay đổi trong bản phát hành có liên quan là một quá trình chậm và bực bội. Tôi hy vọng sẽ xác định thủ phạm bằng cách sử dụng phân tích tự động hơn.

Môi trường sống của chúng tôi là perl 5.14 trên Debian squeeze.

Mặc dù vậy, tôi có quyền truy cập vào rất nhiều máy OS X 10.5. Dtrace và perl dường như chơi cùng nhau độc đáo trên nền tảng này. Dường như sử dụng dtrace trên Linux đòi hỏi phải khởi động nhiều công việc hơn. Tôi hy vọng rằng các mẫu phân bổ bộ nhớ sẽ giống nhau giữa hệ thống sống của chúng ta và hệ thống dev OS X - hoặc ít nhất là đủ tương tự để giúp tôi tìm ra nguồn gốc của việc sử dụng bộ nhớ mới này.

boong trượt này:

https://dgl.cx/2011/01/dtrace-and-perl

cho thấy làm thế nào để sử dụng dtrace làm hiển thị số gọi đến malloc theo tiểu perl. Tôi quan tâm đến việc theo dõi tổng số lượng bộ nhớ mà perl phân bổ trong khi thực hiện mỗi phụ trong suốt vòng đời của một quá trình.

Bất kỳ ý tưởng nào về cách thực hiện điều này?

Answer 1

Câu trả lời cho câu hỏi là 'có'. Dtrace có thể được sử dụng để phân tích việc sử dụng bộ nhớ trong một quá trình perl.

Đoạn mã này:

https://github.com/astletron/perl-dtrace-malloc/blob/master/perl-malloc-total-bytes-by-sub.d

ca khúc cách sử dụng bộ nhớ tăng giữa cuộc gọi và trở lại của mỗi phụ trong một chương trình. Như một tiền thưởng thêm, dtrace dường như sắp xếp đầu ra cho bạn (ít nhất là trên OS X). Mát mẻ.

Cảm ơn tất cả những gì đã được lồng tiếng. Tôi đã tự trả lời câu hỏi này là câu hỏi thực sự cụ thể đối với dtrace/perl.

Answer 2

Không có cách nào để thực hiện việc này và thực hiện nó theo từng tiểu cơ sở không phải lúc nào cũng là cách tốt nhất để kiểm tra mức sử dụng bộ nhớ. Tôi sẽ giới thiệu một bộ công cụ mà bạn có thể sử dụng, một số công việc trên toàn bộ chương trình, một số khác cho phép bạn kiểm tra một phần của mã của bạn hoặc một biến duy nhất.

Bạn có thể muốn xem xét sử dụng Valgrind. Thậm chí có một mô-đun Perl được gọi là Test::Valgrind sẽ giúp thiết lập tệp ngăn chặn cho bản dựng Perl của bạn và sau đó kiểm tra rò rỉ bộ nhớ hoặc lỗi trong tập lệnh của bạn.

Ngoài ra còn có Devel::Size có chính xác những gì bạn đã yêu cầu, nhưng trên cơ sở từng biến thay vì theo từng căn cứ.

Bạn có thể sử dụng Devel::Cycle để tìm kiếm tham chiếu bộ nhớ vô ý tròn trong cấu trúc dữ liệu phức tạp. Trong khi tham chiếu vòng tròn không có nghĩa là bạn đang lãng phí bộ nhớ khi bạn sử dụng đối tượng, tham chiếu vòng tròn ngăn chặn bất kỳ thứ gì trong chuỗi khỏi bị giải phóng cho đến khi chu trình bị hỏng.

Devel::Leak là một chút phức tạp hơn phần còn lại, nhưng về cơ bản sẽ cho phép bạn nhận thông tin đầy đủ trên bất kỳ SV nào được tạo và không bị hủy giữa hai điểm trong quá trình thực thi chương trình của bạn. Nếu bạn kiểm tra điều này qua một cuộc gọi phụ, bạn sẽ biết bất kỳ bộ nhớ mới nào mà chương trình con được cấp phát.

Bạn cũng có thể muốn đọc phần perldebguts trong hướng dẫn Perl.

Tôi thực sự không thể trợ giúp nhiều hơn vì mọi codebase sẽ có sự khác biệt. Kiểm tra :: Valgrind sẽ làm việc tuyệt vời cho một số codebases và terribly trên những người khác. Nếu bạn đang thử nó, tôi khuyên bạn nên sử dụng phiên bản mới nhất của Valgrind có sẵn và Perl> = 5.10, như Perl 5.8 và Valgrind lịch sử đã không nhận được quá tốt.

Answer 3

Bạn có thể muốn nhìn vào Memory::Usage và Devel::Size

Để kiểm tra toàn bộ quá trình hoặc phụ:

use Memory::Usage; 
my $mu = Memory::Usage->new(); 

# Record amount of memory used by current process 
$mu->record('starting work'); 

# Do the thing you want to measure 
$object->something_memory_intensive(); 

# Record amount in use afterwards 
$mu->record('after something_memory_intensive()'); 

# Spit out a report 
$mu->dump(); 

Hoặc để kiểm tra các biến cụ thể:

use Devel::Size qw(size total_size); 

my $size = size("A string"); 

my @foo = (1, 2, 3, 4, 5); 
my $other_size = size(\@foo); 

my $foo = { 
    a => [1, 2, 3], 
    b => {a => [1, 3, 4]} 
}; 
my $total_size = total_size($foo); 

Answer 4

Bạn có thể viết một cách đơn giản mô-đun gỡ lỗi dựa trên Devel::CallTrace để in phụ được nhập cũng như kích thước bộ nhớ hiện tại của quy trình hiện tại. (Sử dụng/proc hoặc bất kỳ thứ gì.)