sort ,uniq ,tr ,cut命令

news/2024/10/31 5:36:57/

目录

一、sort命令

1.格式

2.命令演示

2.1 选项 -n :按照数字大小排序

 2.2选项 -r :反向排序

 2.3选项 -u:隐藏多余行

2.4选项 -t  :指定分隔符;-k :指定字符;-o :指定保存文件

二、uniq命令

1.语法格式 

2.命令演示

2.1只使用uniq命令只隐藏连续重复的多余行

2.2选项-c :对连续重复行进行计数,并删除重复行

2.3选项 -u :仅显示出现一次的行

2.4选项 -d :仅显示连续重复的行

3.实际应用

3.1将远程破解主机密码的ip进行筛选,将这些ip输入到/etc/host.deny文件中,远程登录密码输入错误的IP地址会记录在 /var/log/secure 日志文件中

3.2利用脚本实现操作

三、tr命令

1.语法格式

2.命令演示

2.1选项 -c :保留字符集1的字符,其他字符用字符集2字符替换

2.2 选项 -d :删除字符集1的字符

2.3选项 -s :将重复字符压缩成一个字符

2.4选项 -s :将字符集2字符替换字符集2的字符

3.用命令对数组中的值进行排序

四、cut命令

1.语法格式

2.命令演示

2.1选项 -f:提取指定字符  ; -d :指定分隔符

2.2选项 --output-delimiter :更改输出内容的分隔符

2.3选项 -complement :输出排除字段


一、sort命令

以行为单位对文件内容进行排序,也可以根据不同的数据类型来排序。

比较原则:从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。

1.格式

sort [选项] 参数
一般配合 cat 命令使用
cat file | sort 选项常用选项:
-n:按照数字进行排序
-r:反向排序
-u:等同于uniq,表示相同的数据仅显示一行
-t:指定字段分隔符,默认使用tab键分隔
-k:指定排序字段
-o <输出文件>:将排序后的结果转存至指定文件
-f:忽略大小写,会将小写字母都转换为大写字母来进行比较
-b:忽略每行前面的空格

2.命令演示

#不加选项排序
sort 123.txt 
1
12
125
13
13
142
153
5
51
61

2.1 选项 -n :按照数字大小排序

sort -n 123.txt 
1
5
12
13
13
51
61
125
142
153

 2.2选项 -r :反向排序

sort -nr 123.txt 
#不加-n,从首字符依次向后比较
153
142
125
61
51
13
13
12
5
1

 2.3选项 -u:隐藏多余行

cat 123.txt 
1
12
5
12
61
61
13
sort -u 123.txt 
#将相同行多余行隐藏,只显示一行
1
12
13
5
61

2.4选项 -t  :指定分隔符;-k :指定字符;-o :指定保存文件

sort -t '.' -k 4 -n 123.txt -o abc.txt
cat abc.txt
192.168.88.10
192.168.88.20
192.168.88.52
192.168.88.62
192.168.88.100
192.168.88.201

二、uniq命令

用于报告或者忽略文件中连续的重复行,常与 sort 命令结合使用

1.语法格式 

格式:uniq [选项] 参数cat file | uniq常用选项:
-c:进行计数,并删除文件中重复出现的行
-d:仅显示连续的重复行
-u:仅显示出现一次的行

2.命令演示

2.1只使用uniq命令只隐藏连续重复的多余行

cat 123.txt 
12
15
12
666
777
222
222
uniq 123.txt 
12
15
12
666
777
222

2.2选项-c :对连续重复行进行计数,并删除重复行

uniq -c 123.txt 1 121 151 121 6661 7772 222
#将文件中所有重复行进行计数
sort -n 123.txt | uniq -c2 121 152 2221 6661 777

2.3选项 -u :仅显示出现一次的行

uniq -u 123.txt 
12
15
12
666
777
#将文件行进行排序,然后显示出现一次的行
sort -n 123.txt | uniq -u
15
666
777

2.4选项 -d :仅显示连续重复的行

uniq -d 123.txt 
222
sort -n 123.txt | uniq -d
12
222

3.实际应用

3.1将远程破解主机密码的ip进行筛选,将这些ip输入到/etc/host.deny文件中,远程登录密码输入错误的IP地址会记录在 /var/log/secure 日志文件中

将这一行内容从日志文件中提取出来

 提取出登录失败的IP地址

排序IP地址并计数

3.2利用脚本实现操作

#!/bin/bashcat /var/log/secure | grep "Failed password" | awk '{print $11}' | sort -n | uniq -c > ./abc.txt
IFSA=$IFS
IFS=$'\n'
for i in  `cat ./abc.txt`
donum=$(echo $i | awk '{print $1}')#将大于3次密码错误的远程连接的IP筛查出来 if [ $num -gt 3 ]thenip=$(echo $i | awk '{print $2}')#将ip加入/etc/hosts.deny文件,拒绝访问echo "sshd:$ip" >> /etc/hosts.denyfi
doneIFS=$IFSA

三、tr命令

常用来对来自标准输入的字符进行替换,压缩和删除

1.语法格式

格式:tr [选项] 参数
参数:
字符集1:指定要转换或删除的原字符集。当执行转换操作时,必须使用参数“字符集2”指定转换
的目标字符集。但执行删除操作时,不需要参数“字符集2”
字符集2:指定要转换成的目标字符集常用选项:
-c:保留字符集1的字符,其他字符(包括换行符 \n)用字符集2替换
-d:删除所有属于字符集1的字符
-s:将重复出现的字符串压缩为一个字符;用字符集2 替换 字符集1
-t:字符集2 替换 字符集1,不加选项同结果

2.命令演示

#将a-z 替换为 A-Z
echo "abc" | tr "a-z" "A-Z"
ABC
#将原字符 a 替换为 A
echo "abc" | tr "a" "A"
Abc
#将字符 ac 替换为 AC
echo "abc" | tr "ac" "AC"
AbC

2.1选项 -c :保留字符集1的字符,其他字符用字符集2字符替换

echo -e "ab\nadc\nabcd" > 123.txt
cat -A 123.txt 
ab$
adc$
abcd$
echo -e "ab\nadc\nabcd" | tr -c "ab" "0"
ab0a000ab000
echo -e "ab\nadc\nabcd" | tr -c "ab\n" "0"
ab
a00
ab00

2.2 选项 -d :删除字符集1的字符

echo "hello world" | tr -d "wld"
heo or
echo "hello world" | tr -d " "
helloworld
echo "hello world" | tr -d "ho"
ell wrld

2.3选项 -s :将重复字符压缩成一个字符

echo "hello    world" | tr -s "l"
helo    world
echo "hello    world" | tr -s "l "
helo world
echo -e "a\n\n\nb\n\n\nc"
abc
echo -e "a\n\n\nb\n\n\nc" | tr -s "\n"
a
b
c
echo -e "a\n\n\nb\n\n\nc" | tr -d "\n"
abc

2.4选项 -s :将字符集2字符替换字符集2的字符

echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
#用空格替换冒号
echo $PATH | tr -s ":" " "
/usr/local/sbin /usr/local/bin /usr/sbin /usr/bin /root/bin
#用逗号替换冒号
echo $PATH | tr -s ":" ","
/usr/local/sbin,/usr/local/bin,/usr/sbin,/usr/bin,/root/bin

3.用命令对数组中的值进行排序

array=(1 65 32 24 12 23 15)
echo ${array[@]}
1 65 32 24 12 23 15
echo ${array[@]} | tr " " "\n"
1
65
32
24
12
23
15
echo ${array[@]} | tr " " "\n" |sort -n
1
12
15
23
24
32
65
echo ${array[@]} | tr " " "\n" |sort -n | tr "\n" " "
1 12 15 23 24 32 65

四、cut命令

显示行中的指定部分,删除文件中指定字段

1.语法格式

格式:cut 参数cat file | cut 选项
常用选项:
-f:通过指定哪一个字段进行提取
-d:指定分隔符,默认分隔符为tab
--complement:用于排除所指定的字段
--output-delimiter:更改输出内容的分隔符

2.命令演示

2.1选项 -f:提取指定字符  ; -d :指定分隔符

tail -3 /etc/passwd
wangwu:x:1003:1003::/home/wangwu:/bin/bash
wolong:x:1004:1004::/home/wolong:/bin/bash
fengchu:x:1005:1005::/home/fengchu:/bin/bashtail -3 /etc/passwd | cut -d ":" -f 1
wangwu
wolong
fengchutail -3 /etc/passwd | cut -d ":" -f 1,3
wangwu:1003
wolong:1004
fengchu:1005tail -3 /etc/passwd | cut -d ":" -f 1,3,7
wangwu:1003:/bin/bash
wolong:1004:/bin/bash
fengchu:1005:/bin/bash

2.2选项 --output-delimiter :更改输出内容的分隔符

tail -3 /etc/passwd | cut --output-delimiter=" " -d ":" -f 1,3
wangwu 1003
wolong 1004
fengchu 1005tail -3 /etc/passwd | cut --output-delimiter="," -d ":" -f 1,3
wangwu,1003
wolong,1004
fengchu,1005#awk命令与cut命令效果相似,输出内容默认分隔符为空格
tail -3 /etc/passwd | awk -F: '{print $1,$3}'
wangwu 1003
wolong 1004
fengchu 1005
tail -3 /etc/passwd | awk -F: '{print $1","$3}'
wangwu,1003
wolong,1004
fengchu,1005
tail -3 /etc/passwd | awk -F: '{print $1":"$3}'
wangwu:1003
wolong:1004
fengchu:1005

2.3选项 -complement :输出排除字段

tail -3 /etc/passwd 
wangwu:x:1003:1003::/home/wangwu:/bin/bash
wolong:x:1004:1004::/home/wolong:/bin/bash
fengchu:x:1005:1005::/home/fengchu:/bin/bashtail -3 /etc/passwd | cut --complement -d ":" -f 1,3
x:1003::/home/wangwu:/bin/bash
x:1004::/home/wolong:/bin/bash
x:1005::/home/fengchu:/bin/bashtail -3 /etc/passwd | cut --complement -d ":" -f 1
x:1003:1003::/home/wangwu:/bin/bash
x:1004:1004::/home/wolong:/bin/bash
x:1005:1005::/home/fengchu:/bin/bashtail -3 /etc/passwd | cut --complement -d ":" -f 2,3,4,5
wangwu:/home/wangwu:/bin/bash
wolong:/home/wolong:/bin/bash
fengchu:/home/fengchu:/bin/bash


http://www.ppmy.cn/news/67753.html

相关文章

详细介绍SVG.js中textPath和text元素相关的一些方法,帮助大家更好的了解和使用这两个元素

SVG.js是一个基于SVG的JavaScript库&#xff0c;可以帮助更加简单地操作SVG元素。其中&#xff0c;textPath和text元素是SVG.js中非常重要的两个元素&#xff0c;它们可以让我们在SVG图形中添加文字&#xff0c;并实现一些炫酷的效果。在本篇文章中&#xff0c;我们将详细介绍S…

计网U+选择题知识点

第一章U 1.Internet 网络本质上属于&#xff08; 分组交换&#xff09;网络。 2.(网络层发送的是分组) 3.在 OSI 参考模型中,自下而上第一个提供端到端服务的是(传输层 )。 4.APRANET 5.三类大家很熟悉的网络是&#xff08;电信网络&#xff0c;有线电视网络&#xff0c;计算机…

瑞吉外卖 - 完善后台系统登陆功能(5)

某马瑞吉外卖单体架构项目完整开发文档&#xff0c;基于 Spring Boot 2.7.11 JDK 11。预计 5 月 20 日前更新完成&#xff0c;有需要的胖友记得一键三连&#xff0c;关注主页 “瑞吉外卖” 专栏获取最新文章。 相关资料&#xff1a;https://pan.baidu.com/s/1rO1Vytcp67mcw-PD…

最新DNDC模型在土地利用变化、未来气候变化下的建模方法及温室气体时空动态模拟实践技术应用

由于全球变暖、大气中温室气体浓度逐年增加等问题的出现&#xff0c;“双碳”行动特别是碳中和已经在世界范围形成广泛影响。。DNDC&#xff08;Denitrification-Decomposition&#xff0c;反硝化-分解模型&#xff09;是目前国际上最为成功的模拟生物地球化学循环的模型之一&a…

RabbitMQ详解(三):消息模式(fanout、direct、topic、work)

消费模式 参考官网&#xff1a;https://www.rabbitmq.com/getstarted.html 简单模式 Simple, 参考RabbitMQ详解&#xff08;二&#xff09;&#xff1a;消息模式 Simple(简单)模式 简单模式是最简单的消息模式&#xff0c;它包含一个生产者、一个消费者和一个队列。生产者向队…

【地铁上的设计模式】--行为型模式:观察者模式

什么是观察者模式 观察者模式&#xff08;Observer Pattern&#xff09;是一种设计模式&#xff0c;它定义了对象之间一对多的依赖关系&#xff0c;当一个对象状态发生改变时&#xff0c;其所有依赖者都会收到通知并自动更新。观察者模式中&#xff0c;被观察者对象通常被称为…

存bean和取bean

准备工作存bean获取bean三种方式 准备工作 bean:一个对象在多个地方使用。 spring和spring boot&#xff1a;spring和spring boot项目&#xff1b;spring相当于老版本 spring boot本质还是spring项目&#xff1b;为了方便spring项目的搭建&#xff1b;操作起来更加简单 spring…

Redis常见命令有哪些?怎么使用?

一、概述&#xff1a; 在了解Redis命令之前&#xff0c;我们要先了解Redis的数据结构&#xff0c;Redis是NoSQL数据库&#xff0c;采用了json存储模式&#xff0c;比MySQL等关系数据库更易于扩展&#xff0c;拥有丰富的数据类型&#xff0c;分基本类型与特殊类型。基本类型包括…