Linux命令之大文件切分与合并

耐用消费

& D1 ^. Q/ O4 M9 ?6 j; Q* t& P当面临将一个大文件进行切分时，linux的split命令是很好的选择。它包含多种参数，支持按行、大小进行切分。
split命令的语法如下：
split [--help][--version][-a ][-b][-C ][-l ][要切割的文件][输出文件名前缀]
" A! `" h' y, Q. t" E对应的参数描述如下：
-a, --suffix-length=N
    使用的后缀长度 (默认为 2)
" e+ a3 W( M# Z+ S. _( ?-b, --bytes=SIZE
4 g0 t/ K( @/ O4 q9 g    每个输出文件的字节大小
-C, --line-bytes=SIZE
% F6 N, I- n# {- J- s    每个输出文件每行的最大字节大小
-d, --numeric-suffixes
- ]" ]4 P1 I- ?    使用数字后缀代替字母后缀
-l, --lines=NUMBER
    设定每个输出文件的行数
--help 显示帮助信息
--version
    显示版本信息
下面举几个例子：
1）将文件splitTest.txt分割成多个文件，分割后的每个文件大小为10M。命令：
2 N- o. f! n3 ?- \' c* t' C$ split -b 20m splitTest.txt
3 k, z; r0 f, y' N& {9 A  |$ ls
splitTest.txt  xaa  xab  xac
2）将文件splitTest.txt分割成多个文件，分割后的每个文件大小为10M。指定分割后的文件前缀位split，命令：
$ split -b 20m splitTest.txt  split
! V8 Q7 m# a, ~% S& }; Y! \; I1 f+ C$ ls
9 A* a. ?5 k$ j) u# V% qsplitaa  splitab  splitac  splitTest.txt
3）将文件splitTest.txt分割成多个文件，每个文件50万行。命令：
. l& T# U/ r6 F1 B4 w9 n$ wc -l splitTest.txt
1502216 splitTest.txt
$ split -l 500000 splitTest.txt  split
$ ls
splitaa  splitab  splitac  splitad  splitTest.txt
( h# }1 Q, I9 a4）将文件splitTest.txt分割成多个文件，每个文件50万行。指定分割后的文件后缀为数字，数字位数为3位，命令：
$ a" X3 J+ b! g" g; o$ wc -l splitTest.txt
1502216 splitTest.txt
4 o6 ?" h5 K3 w2 e$ split -l 500000 -d -a 3 splitTest.txt  split
2 C% K9 z0 y3 m0 U, ?9 |4 U% \$ ls
( Z* [# I/ _- E. X$ @8 f. Vsplit000  split001  split002  split003  splitTest.txt
可以使用cat命令将切分后的文件合并成新的文件：
/ D: S1 f# R* c+ L3 E$ cat split0* > original.txt