Phân tích nhật ký bằng Python

Question

Đối với quy trình giám sát nội bộ của chúng tôi, tôi muốn tìm hiểu xem có bao nhiêu trường hợp ngoại lệ xảy ra vào một ngày cụ thể. Chúng tôi muốn trích xuất thông tin từ tệp nhật ký của ứng dụng của chúng tôi (dự án giá treo).

Tôi muốn thực hiện việc này bằng chính Python. Tôi biết rằng tôi có thể viết một tập lệnh sẽ thực hiện xử lý ngoại tuyến trên nhật ký để đếm số lượng ngoại lệ (và có thể cả các thông tin khác liên quan đến ngoại lệ).

Tôi muốn hỏi liệu đã có một số thư viện mà tôi có thể sử dụng để phân tích tệp nhật ký bằng Python hay cách tốt nhất để làm điều này là gì?

Answer 1

Tôi vừa có tình huống tương tự và tìm thấy gói Python logtools cho công việc. Tôi đã sử dụng nó để phân tích một tệp nhật ký Tomcat6/Solr.

Sao chép bản ghi từ máy chủ và cài đặt logtools trong một virtualenv:

mkdir /tmp/logwtf 
cd /tmp/logwtf 
scp server:/var/log/tomcat6/catalina.2012-02-03.log ./catalina.log 
virtualenv --system-site-packages --distribute . 
. bin/activate 
pip install -e 'git+https://github.com/adamhadani/logtools.git#egg=logtools' 

Tóm tắt tìm kiếm theo yêu cầu giao thông:

qps -r'^(.*?) org\.apache\.solr\.core\.SolrCore execute' \ 
    -F '%b %d, %Y %I:%M:%S %p' \ 
    -W900 \ 
    --ignore \ 
    <catalina.log 

Tất cả các hoạt động máy chủ 1:10-01:20:

qps -r'^(.*? 1:1.:.. PM) ' \ 
    -F '%b %d, %Y %I:%M:%S %p' \ 
    -W15 \ 
    --ignore \ 
    <catalina.log 

logtools bao gồm các tập lệnh bổ sung để lọc bot, gắn thẻ nhật ký gắn thẻ theo quốc gia , phân tích nhật ký, hợp nhất, tham gia, lấy mẫu và lọc, tổng hợp và vẽ đồ thị, phân tích URL, thống kê tóm tắt và phần trăm tính toán. Xem số package's GitHub page để biết thêm thông tin .

Answer 2

Một số thông tin bổ sung, như nhật ký mẫu sẽ đẹp. Nói chung bạn luôn có thể sử dụng thư viện lại mạnh mẽ làm việc với các biểu thức chính quy.

Regular Expressions

re Library

Vì vậy, yeah cho các vấn đề chung lại luôn luôn là một khả năng tốt ...

Nếu bạn đăng một bản ghi mẫu tôi có thể thấy nếu tôi tìm thấy bất cứ điều gì phù hợp hơn để ur vấn đề.