Cách tốt nhất để sửa đổi tệp khi sử dụng đường ống?

Question

tôi thường có nhiệm vụ lập trình shell nơi tôi chạy vào mô hình này:

cat file | some_script > file 

này là không an toàn - mèo có thể không đọc toàn bộ tập tin trước khi some_script bắt đầu bằng văn bản cho nó. Tôi không thực sự muốn viết kết quả vào một tập tin tạm thời (chậm chạp của nó, và tôi không muốn biến chứng thêm về suy nghĩ về một tên mới duy nhất).

Có lẽ, có một lệnh shell tiêu chuẩn sẽ đệm toàn bộ luồng cho đến khi đạt được EOF? Một cái gì đó như:

cat file | bufferUntilEOF | script > file 

Ý tưởng?

Answer 1

Sử dụng tệp tạm thời là IMO tốt hơn là cố gắng đệm dữ liệu trong đường ống.

Nó gần như đánh bại mục đích của đường ống để đệm chúng.

Answer 2

Bạn đang tìm kiếm sponge.

Answer 3

Sử dụng tệp tạm thời là giải pháp đúng ở đây. Khi bạn sử dụng một chuyển hướng như '>', nó được xử lý bởi shell và không cần biết có bao nhiêu lệnh trong đường dẫn của bạn, shell sẽ tự do xóa và ghi đè lên tệp đầu ra trước khi bất kỳ lệnh nào được thực thi (trong khi thiết lập đường dẫn).

Answer 4

Sử dụng mktemp(1) hoặc tempfile(1) giúp bạn tiết kiệm chi phí phải nghĩ ra tên tệp duy nhất.

Answer 5

Tôi nghĩ rằng cách tốt nhất là sử dụng tệp tạm thời. Tuy nhiên, nếu bạn muốn một cách tiếp cận khác, bạn có thể sử dụng một cái gì đó như awk để đệm đầu vào vào bộ nhớ trước khi ứng dụng của bạn bắt đầu nhận đầu vào. Kịch bản sau sẽ đệm tất cả các đầu vào vào mảng lines trước khi nó bắt đầu xuất nó cho người tiêu dùng tiếp theo trong đường ống.

{ lines[NR] = $0; } 
END { 
    for (line_no=1; line_no<=NR; ++line_no) { 
     print lines[line_no]; 
    } 
} 

Bạn có thể sụp đổ nó vào một lớp lót nếu bạn muốn:

cat file | awk '{lines[NR]=$0;} END {for(i=1;i<=NR;++i) print lines[i];}' > file 

Với tất cả điều đó, tôi vẫn sẽ khuyên bạn sử dụng một tập tin tạm thời cho đầu ra và sau đó ghi đè lên các tập tin ban đầu với nó.

Answer 6

Giống như nhiều người khác, tôi thích sử dụng các tệp tạm thời. Tôi sử dụng quá trình shell-id như một phần của tên tạm thời để nếu nhiều bản sao của tập lệnh đang chạy cùng một lúc, chúng sẽ không xung đột. Cuối cùng, sau đó tôi chỉ ghi đè lên tệp gốc nếu kịch bản thành công (sử dụng toán tử boolean short-circuiting - nó hơi dày đặc nhưng rất tốt cho các dòng lệnh đơn giản). Đặt tất cả lại với nhau, nó sẽ trông giống như:

some_script <file> smscrpt.$$ && mv smscrpt.$$ file 

Điều này sẽ để lại tệp tạm thời nếu lệnh không thành công. Nếu bạn muốn dọn dẹp về lỗi, bạn có thể thay đổi điều đó để:

some_script <file> smscrpt.$$ && mv smscrpt.$$ file || rm smscrpt.$$ 

BTW, tôi đã thoát khỏi việc sử dụng kém của mèo và thay thế nó với chuyển hướng đầu vào.

Answer 7

Để đối phó với the OP's question above về việc sử dụng sponge mà không phụ thuộc bên ngoài, và xây dựng trên @D.Shawley's answer, bạn có thể có tác dụng miếng bọt biển với chỉ một sự phụ thuộc vào gawk, mà không phải là không phổ biến trên Unix hoặc các hệ thống Unix-like:

cat foo | gawk -voutfn=foo '{lines[NR]=$0;} END {if(NR>0){print lines[1]>outfn;} for(i=2;i<=NR;++i) print lines[i] >> outfn;}' 

Việc kiểm tra NR>0 là để cắt bớt tệp đầu vào.

Để sử dụng tính năng này trong tập lệnh hệ vỏ, hãy thay đổi -voutfn=foo thành -voutfn="$1" hoặc bất kỳ cú pháp nào mà trình bao của bạn sử dụng cho đối số tên tệp. Ví dụ:

#!/bin/bash 
cat "$1" | gawk -voutfn="$1" '{lines[NR]=$0;} END {if(NR>0){print lines[1]>outfn;} for(i=2;i<=NR;++i) print lines[i] >> outfn;}' 

Lưu ý rằng, không giống như thực tế sponge, điều này có thể bị giới hạn ở kích thước RAM. sponge bộ đệm thực sự trong tệp tạm thời nếu cần.