cách nhanh nhất chuyển đổi tệp được phân cách bằng tab thành csv trong linux

Question

Tôi có tệp phân tách bằng tab có hơn 200 triệu dòng. Cách nhanh nhất trong Linux để chuyển đổi tệp này thành tệp csv là gì? Tệp này có nhiều dòng thông tin tiêu đề mà tôi sẽ cần phải loại bỏ đường, nhưng số lượng dòng tiêu đề được biết. Tôi đã thấy các đề xuất cho sed và gawk, nhưng tôi tự hỏi nếu có lựa chọn "ưa thích".

Chỉ cần làm rõ, không có tab được nhúng nào trong tệp này.

Answer 1

Nếu tất cả những gì bạn cần làm là dịch tất cả các ký tự tab thành ký tự dấu phẩy, tr có thể là cách để thực hiện.

Không gian trống ở đây là một tab đen:

$ echo "hello world" | tr "\\t" "," 
hello,world 

Tất nhiên, nếu bạn đã nhúng các tab bên literals chuỗi trong file, điều này sẽ không đúng cách dịch những cũng; nhưng các tab theo ngữ cảnh được nhúng sẽ khá phổ biến.

Answer 2

Nếu bạn lo lắng về các dấu phẩy được nhúng thì bạn sẽ cần phải sử dụng một phương pháp thông minh hơn một chút. Dưới đây là một kịch bản Python mà sẽ đưa dòng TSV từ stdin và viết dòng CSV để stdout:

import sys 
import csv 

tabin = csv.reader(sys.stdin, dialect=csv.excel_tab) 
commaout = csv.writer(sys.stdout, dialect=csv.excel) 
for row in tabin: 
    commaout.writerow(row) 

Run nó từ một vỏ như sau:

python script.py <input.tsv> output.csv 

Answer 3

giả sử bạn không muốn thay đổi tiêu đề và giả định bạn không có các tab được nhúng

# cat file 
header header header 
one  two  three 

$ awk 'NR>1{$1=$1}1' OFS="," file 
header header header 
one,two,three 

NR> 1 bỏ qua tiêu đề đầu tiên. bạn đã đề cập đến bạn biết có bao nhiêu dòng tiêu đề, vì vậy hãy sử dụng số chính xác cho trường hợp của riêng bạn. với điều này, bạn cũng không cần phải gọi bất kỳ lệnh bên ngoài nào khác. chỉ một lệnh awk thực hiện công việc.

một cách khác nếu bạn có các cột trống và bạn quan tâm đến điều đó.

awk 'NR>1{gsub("\t",",")}1' file 

bằng cách sử dụng sed

sed '2,$y/\t/,/' file #skip 1 line header and translate (same as tr) 

Answer 4

sed -e 's/"/\\"/g' -e 's/<tab>/","/g' -e 's/^/"/' -e 's/$/"/' infile > outfile 

Chết tiệt các nhà phê bình, trích dẫn tất cả mọi thứ, CSV không quan tâm.

<tab> là ký tự tab thực tế. không làm việc cho tôi. Trong bash, sử dụng^V để nhập nó.

Answer 5

perl -lpe 's/"/""/g; s/^|$/"/g; s/\t/","/g' <input.tab> output.csv 

Perl thường nhanh hơn ở loại điều này so với sed, awk và Python.

Answer 6

các oneliner awk sau hỗ trợ trích dẫn + quote-thoát

printf "flop\tflap\"" | awk -F '\t' '{ gsub(/"/,"\"\"\"",$i); for(i = 1; i <= NF; i++) { printf "\"%s\"",$i; if(i < NF) printf "," }; printf "\n" }' 

cho

"flop","flap"""" 

Answer 7

@ giải pháp python ignacio-Vazquez-abrams 's là tuyệt vời! Đối với những người đang tìm cách phân tích cú pháp phân cách các tab khác, thư viện thực sự cho phép bạn đặt dấu phân cách tùy ý.Đây là phiên bản của tôi thay đổi để xử lý các file ống được phân định:

import sys 
import csv 

pipein = csv.reader(sys.stdin, delimiter='|') 
commaout = csv.writer(sys.stdout, dialect=csv.excel) 
for row in pipein: 
    commaout.writerow(row) 

Answer 8

• Nếu bạn muốn chuyển đổi các tập tin toàn bộ tsv vào một tập tin csv:

  $ cat data.tsv | tr "\\t" "," > data.csv 
  

  ---

• Nếu bạn muốn để bỏ qua một số trường:

  $ cat data.tsv | cut -f1,2,3 | tr "\\t" "," > data.csv 
  

  lệnh trên sẽ chuyển đổi tệp data.tsv thành tệp data.csv chỉ chứa ba trường đầu tiên.