Làm cách nào để chia nhỏ các tệp lớn?

Question

Tôi có tệp CSV lớn (7.3GB; 16.300.000 dòng), làm cách nào để chia tệp này thành hai tệp?

Answer 1

Bạn đã xem xét lệnh split chưa? Xem thisman trang để biết thêm thông tin.

Điều này page chứa ví dụ sử dụng lệnh này.

Ngoài:

lệnh man -k là khá hữu ích cho việc tìm kiếm các lệnh/linux unix nếu bạn không hoàn toàn chắc chắn những gì các lệnh cụ thể là. Chỉ định một từ khóa với lệnh man -k và hệ thống sẽ rút ra các lệnh liên quan. Ví dụ:

% man -k split 

sẽ mang lại:

csplit (1)   - split a file into sections determined by context lines 
dirsplit (1)   - splits directory into multiple with equal size 
dpkg-split (1)  - Debian package archive split/join tool 
gpgsplit (1)   - Split an OpenPGP message into packets 
pnmsplit (1)   - split a multi-image portable anymap into multiple single-image files 
ppmtoyuvsplit (1) - convert a portable pixmap into 3 subsampled raw YUV files 
split (1)   - split a file into pieces 
splitdiff (1)  - separate out incremental patches 
splitfont (1)  - extract characters from an ISO-type font. 
URI::Split (3pm)  - Parse and compose URI strings 
wcstok (3)   - split wide-character string into tokens 
yuvsplittoppm (1) - convert a Y- and a U- and a V-file into a portable pixmap 
zipsplit (1)   - split a zipfile into smaller zipfiles 

Answer 2

chia -n -d l/N filename.csv tempfile.part.

chia tệp thành các tệp N mà không chia tách các dòng. Như đã đề cập trong các ý kiến ​​ở trên, tiêu đề không được lặp lại trong mỗi tệp.