linux Shell 文本处理工具之SORT、TR、CUT、PASTE、WC

sort 排序

字段说明：

-n 按数字进行排序 VS -d 按字典序进行排序

-r 逆序排序

-k N 指定按第N列排序

eg：

sort -nrk 1 data.txt

sort -bd data // 忽略像空格之类的前导空白字符

uniq 消除重复行

消除重复行

  sort unsort.txt | uniq 

统计各行在文件中出现的次数

  sort unsort.txt | uniq -c

找出重复行

  sort unsort.txt | uniq -d

可指定每行中需要比较的重复内容：-s 开始位置 -w 比较字符数

用tr进行转换

通用用法

 echo 12345 | tr '0-9' '9876543210' //加解密转换，替换对应字符

  cat text| tr '\t' ' '  //制表符转空格

tr删除字符

```shell
cat file | tr -d '0-9' // 删除所有数字

-c 求补集

cat file | tr -c '0-9' //获取文件中所有数字

cat file | tr -d -c '0-9 \n' //删除非数字数据

tr压缩字符

tr -s 压缩文本中出现的重复字符；最常用于压缩多余的空格

```shell
  cat file | tr -s ' '

字符类

tr中可用各种字符类：

alnum：字母和数字

alpha：字母

digit：数字

space：空白字符

lower：小写

upper：大写

cntrl：控制(非可打印)字符

print：可打印字符

使用方法：tr [:class:] [:class:]

  eg: tr '[:lower:]' '[:upper:]'

cut 按列切分文本

截取文件的第2列和第4列：

  cut -f2,4 filename

去文件除第3列的所有列：

  cut -f3 --complement filename

-d 指定定界符：

  cat -f2 -d";" filename

cut 取的范围

N- 第N个字段到结尾

-M 第1个字段为M

N-M N到M个字段

cut 取的单位

-b 以字节为单位

-c 以字符为单位

-f 以字段为单位(使用定界符)

eg:

  cut -c1-5 file //打印第一到5个字符

  cut -c-2 file  //打印前2个字符

paste 按列拼接文本

将两个文本按列拼接到一起;

cat file1

1

2

cat file2

colin

book

paste file1 file2

1 colin

2 book

默认的定界符是制表符，可以用-d指明定界符

paste file1 file2 -d ","

1,colin

2,book

wc 统计行和字符的工具

wc -l file // 统计行数

wc -w file // 统计单词数

wc -c file // 统计字符数