Tách tệp txt lớn thành 200 tệp txt nhỏ hơn trên regex bằng cách sử dụng tập lệnh shell trong BASH

Question

Xin chào các bạn Tôi hy vọng chủ đề này đủ rõ ràng, tôi chưa tìm thấy bất cứ điều gì cụ thể về điều này trong thùng được yêu cầu trước đó. Tôi đã thử thực hiện điều này trong Perl hoặc Python, nhưng tôi nghĩ rằng tôi có thể đang cố gắng quá khó.

Có một lệnh/đường dẫn shell đơn giản sẽ tách tệp .txt 4MB của tôi thành các tệp .txt riêng biệt, dựa trên regex bắt đầu và kết thúc không?

Tôi cung cấp một mẫu ngắn của tệp bên dưới .. để bạn có thể thấy rằng mọi "câu chuyện" đều bắt đầu bằng cụm từ "X của XXX DOCUMENTS", có thể được sử dụng để chia nhỏ tệp.

Tôi nghĩ rằng điều này phải dễ dàng và tôi sẽ ngạc nhiên nếu bash không thể làm điều đó - nhanh hơn Perl/Py.

Ở đây là:

      1 of 999 DOCUMENTS 


       Copyright 2011 Virginian-Pilot Companies LLC 
          All Rights Reserved 
        The Virginian-Pilot(Norfolk, VA.) 

... 



          3 of 999 DOCUMENTS 


        Copyright 2011 Canwest News Service 
          All Rights Reserved 
          Canwest News Service 

... 

Cảm ơn trước cho tất cả sự giúp đỡ của bạn.

Ross

Answer 1

awk '/[0-9]+ of [0-9]+ DOCUMENTS/{g++} { print $0 > g".txt"}' file 

người dùng OSX sẽ cần gawk, như BUILTIN awk sẽ tạo ra một lỗi như awk: illegal statement at source line 1

của Ruby (1.9+)

#!/usr/bin/env ruby 
g=1 
f=File.open(g.to_s + ".txt","w") 
open("file").each do |line| 
    if line[/\d+ of \d+ DOCUMENTS/] 
    f.close 
    g+=1 
    f=File.open(g.to_s + ".txt","w") 
    end 
    f.print line 
end 

Answer 2

regex để phù hợp với "X VĂN XXX" là
\ d {1,3} của \ d {1,3) VĂN

dòng đọc theo dòng và bắt đầu viết mới tập tin khi trận đấu regex sẽ ổn.

Answer 3

chưa được kiểm tra:

base=outputfile 
start=1 
pattern='^[[:blank:]]*[[:digit:]]+ OF [[:digit:]]+ DOCUMENTS[[:blank:]]*$ 

while read -r line 
do 
    if [[ $line =~ $pattern ]] 
    then 
     ((start++)) 
     printf -v filecount '%4d' $start 
     >"$base$filecount" # create an empty file named like foo0001 
    fi 
    echo "$line" >> "$base$filecount" 
done 

Answer 4

Làm thế nào cứng bạn đã thử trong Perl?

Chỉnh sửa Đây là phương pháp nhanh hơn. Nó chia nhỏ tập tin rồi in các tập tin.

use strict; 
use warnings; 

my $count = 1; 

open (my $file, '<', 'source.txt') or die "Can't open source.txt: $!"; 

for (split /(?=^.*\d+[^\S\n]*of[^\S\n]*\d+[^\S\n]*DOCUMENTS)/m, join('',<$file>)) 
{ 
    if (s/^.*(\d+)\s*of\s*\d+\s*DOCUMENTS.*(\n|$)//m) 
    { 
     open (my $part, '>', "Part$1_$count.txt") 
      or die "Can't open Part$1_$count for output: $!"; 
     print $part $_; 
     close ($part); 
     $count++; 
    } 
} 
close ($file); 

Đây là dòng bằng phương pháp dòng:

use strict; 
use warnings; 

open (my $masterfile, '<', 'yourfilename.txt') or die "Can't open yourfilename.txt: $!"; 

my $count = 1; 
my $fh; 

while (<$masterfile>) { 
    if (/(?<!\d)(\d+)\s*of\s*\d+\s*DOCUMENTS/) { 
     defined $fh and close ($fh); 
     open ($fh, '>', "Part$1_$count.txt") or die "Can't open Part$1_$count for output: $!"; 
     $count++; 
     next; 
    } 
    defined $fh and print $fh $_; 
} 
defined $fh and close ($fh); 
close ($masterfile); 

Answer 5

Như đã đề cập trong các giải pháp khác, bạn có thể sử dụng csplit cho rằng:

csplit csplit.test '/^\.\.\./' '{*}' && sed -i '/^\.\.\./d' xx* 

tôi đã không tìm thấy một cách tốt hơn để thoát khỏi các dấu phân cách gợi nhớ trong các tập tin chia.