Split access.log file theo ngày sử dụng các công cụ dòng lệnh

Question

Tôi có một tệp truy cập Apache.log, có dung lượng khoảng 35GB .. Xem qua nó không phải là một tùy chọn nữa mà không phải chờ đợi nhiều.

Tôi muốn chia nhỏ trong nhiều tệp nhỏ, bằng cách sử dụng ngày làm tiêu chí chia tách.

Ngày có định dạng "[15/Oct/2011: 12: 02: 02 +0000]". Bất kỳ ý tưởng làm thế nào tôi có thể làm điều đó bằng cách sử dụng chỉ bash scripting, chương trình thao tác văn bản tiêu chuẩn (grep, awk, sed, và thích), đường ống và chuyển hướng?

Tên tệp đầu vào là access.log. Tôi muốn tập tin đầu ra có định dạng như access.apache.15_Oct_2011.log (mà sẽ làm các trick, mặc dù không thoải mái khi sắp xếp ..)

Answer 1

Một cách sử dụng awk:

awk 'BEGIN { 
    split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec ", months, " ") 
    for (a = 1; a <= 12; a++) 
     m[months[a]] = a 
} 
{ 
    split($4,array,"[:/]"); 
    year = array[3] 
    month = sprintf("%02d", m[array[2]]) 

    print > FILENAME"-"year"_"month".txt" 
}' incendiary.ws-2009 

chí này tập tin đầu ra như:

incendiary.ws-2010-2010_04.txt 
incendiary.ws-2010-2010_05.txt 
incendiary.ws-2010-2010_06.txt 
incendiary.ws-2010-2010_07.txt 

Against một log file 150 MB, câu trả lời bằng cách chepner mất 70 giây trên một 3,4 GHz 8 Core Xeon E31270, trong khi phương pháp này mất 5 giây.

gốc cảm hứng: "How to split existing apache logfile by month?"

Answer 2

Perl đã đến cứu hộ:

cat access.log | perl -n -e'm@\[(\d{1,2})/(\w{3})/(\d{4}):@; open(LOG, ">>access.apache.$3_$2_$1.log"); print LOG $_;' 

Vâng, nó không chính xác là "tiêu chuẩn" thao tác chương trình, nhưng nó được thực hiện cho thao tác văn bản tuy nhiên.

Tôi cũng đã thay đổi thứ tự các đối số trong tên tệp, do đó các tệp được đặt tên như access.apache.yyyy_mon_dd.log để sắp xếp dễ dàng hơn.

Answer 3

Loại xấu xí, đó là bash cho bạn:

for year in 2010 2011 2012; do 
     for month in jan feb mar apr may jun jul aug sep oct nov dec; do 
      for day in 1 2 3 4 5 6 7 8 9 10 ... 31 ; do 
       cat access.log | grep -i $day/$month/$year > $day-$month-$year.log 
      done 
     done 
    done 

Answer 4

tinh khiết bash, đã có một đường chuyền thông qua bản ghi truy cập:

while read; do 
    [[ $REPLY =~ \[(..)/(...)/(....): ]] 

    d=${BASH_REMATCH[1]} 
    m=${BASH_REMATCH[2]} 
    y=${BASH_REMATCH[3]} 

    #printf -v fname "access.apache.%s_%s_%s.log" ${BASH_REMATCH[@]:1:3} 
    printf -v fname "access.apache.%s_%s_%s.log" $y $m $d 

    echo "$REPLY" >> $fname 
done < access.log 

Answer 5

Dưới đây là một phiên bản awk rằng kết quả đầu ra file log lexically sắp xếp.

Một số cải tiến hiệu quả: tất cả được thực hiện trong một lần, chỉ tạo ra fname khi không giống như trước, đóng fname khi chuyển sang tệp mới (nếu không bạn có thể hết bộ mô tả tệp).

awk -F"[]/:[]" ' 
BEGIN { 
    m2n["Jan"] = 1; m2n["Feb"] = 2; m2n["Mar"] = 3; m2n["Apr"] = 4; 
    m2n["May"] = 5; m2n["Jun"] = 6; m2n["Jul"] = 7; m2n["Aug"] = 8; 
    m2n["Sep"] = 9; m2n["Oct"] = 10; m2n["Nov"] = 11; m2n["Dec"] = 12; 
} 
{ 
    if($4 != pyear || $3 != pmonth || $2 != pday) { 
    pyear = $4 
    pmonth = $3 
    pday = $2 

    if(fname != "") 
     close(fname) 

    fname = sprintf("access_%04d_%02d_%02d.log", $4, m2n[$3], $2) 
    } 
    print > fname 
}' access-log 

Answer 6

tôi đã thực hiện một sự cải thiện nhẹ vào câu trả lời của Theodore vì vậy tôi có thể nhìn thấy sự tiến bộ khi xử lý một rất log file lớn.

#!/usr/bin/awk -f 

BEGIN { 
    split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec ", months, " ") 
    for (a = 1; a <= 12; a++) 
     m[months[a]] = a 
} 
{ 
    split($4, array, "[:/]") 
    year = array[3] 
    month = sprintf("%02d", m[array[2]]) 

    current = year "-" month 
    if (last != current) 
     print current 
    last = current 

    print >> FILENAME "-" year "-" month ".txt" 
} 

Ngoài ra tôi thấy rằng tôi cần thiết để sử dụng gawk (brew install gawk nếu bạn không có nó) để làm việc này trên Mac OS X.

Answer 7

tôi kết hợp các giải pháp Theodore và Thor sử dụng cải thiện hiệu quả của Thor và các tệp hàng ngày, nhưng vẫn giữ lại hỗ trợ ban đầu cho địa chỉ IPv6 trong tệp định dạng kết hợp.

awk ' 
BEGIN { 
    m2n["Jan"] = 1; m2n["Feb"] = 2; m2n["Mar"] = 3; m2n["Apr"] = 4; 
    m2n["May"] = 5; m2n["Jun"] = 6; m2n["Jul"] = 7; m2n["Aug"] = 8; 
    m2n["Sep"] = 9; m2n["Oct"] = 10; m2n["Nov"] = 11; m2n["Dec"] = 12; 
} 
{ 
    split($4, a, "[]/:[]") 
    if(a[4] != pyear || a[3] != pmonth || a[2] != pday) { 
    pyear = a[4] 
    pmonth = a[3] 
    pday = a[2] 

    if(fname != "") 
     close(fname) 

    fname = sprintf("access_%04d-%02d-%02d.log", a[4], m2n[a[3]], a[2]) 
    } 
    print >> fname 
}'