Shell sed命令的奇妙用法:解决一些常见的文本处理问题

news/2025/2/19 13:44:17/

shell sed命令

sed是一种在线编辑器,它一次处理一行内容。

http://www.gnu.org/software/sed/manual/sed.html

处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),

接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。

接着处理下一行,这样不断重复,直到文件末尾

文件内容并没有 改变,除非你使用重定向存储输出。

Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作.

  • 调用方式
sed [options] 'command' file(s)sed [options] -f scriptfile file(s) 
  • 正则表达式通配符

^ 表示一行的开头。如:/^#/ 以#开头的匹配。

$ 表示一行的结尾。如:/}$/ 以}结尾的匹配。

\< 表示词首。 如:\<abc 表示以 abc 为首的詞""。

\> 表示词尾。 如:abc\> 表示以 abc 結尾的詞。

. 表示任何单个字符。

* 表示某个字符出现了0次或多次。

[ ] 字符集合。 如:[abc] 表示匹配a或b或c,还有 [a-zA-Z] 表示匹配所有的26个字符。如果其中有^表示反,如 [^a] 表示非a的字符

#  ^符号表示开头
#  .*符号表示通配任意字符
## 行内包含“SVNAME”参数,则将整行替换
sed -i 's/^.*'$SVNAME'.*$/'$NEWNAME'/' $FILEPATH
  • 常用选项

|a\|在当前行后添加一行或多行|
| ----- | ----- |
|c\|用新文本替换当前行中的文本|
|d|删除行|
|i\|在当前行之前插入文本|
|h|把模式空间的内容复制到暂存缓冲区|
|H|把模式空间的内容添加到缓冲区|
|g|取出暂存缓冲区的内容,将其复制到模式缓冲区|
|G|取出暂存缓冲区的内容,将其追加到模式缓冲区|
|l|列出非打印字符|
|p|打印行|
|n|读入下一行输入,并从下一条而不是第一条命令对其处理|
|q|结束或退出sed|
|r|从文件中读取输入行|
|!|对所选行以外的行应用所有命令|
|s|用一个字符串替换另外一个字符串|

  • 替换标志:
g在行内进行全局替换
p打印行
w将行写入文件
x交换暂存缓冲区和模式空间的内容
y将字符转换成另外一个字符
  • 打印:p命令
sed ‘/abc/p’ file打印file中包含abc的行。默认情况sed把所有行都打印到屏幕,如果某行匹配到模式,则把该行另外再打印一遍
sed  -n ‘/abc/p’ file和上面一样,只是去掉了sed的默认行为,只会打印匹配的行
  • 删除:d命令
sed ‘3,$d’ file删除从第3行到最后一行的内容。
sed ‘$d’ file删除最后一行的内容
sed ‘/abc/d’删除包含abc的行。
sed ‘3d’ file删除第三行的内容
  • 替换:s命令
sed  ‘s/abc/def/g’ file把行内的所有abc替换成def,如果没有g,则只替换行内的第一个abc
sed  -n ‘s/abc/def/p’ file只打印发生替换的那些行
sed  ‘s/abc/&def/’ file在所有的abc后面添加def(&表示匹配的内容)
sed  -n ‘s/abc/def/gp’ file把所有的abc替换成def,并打印发生替换的那些行
sed  ‘s#abc#def#g’ file把所有的abc替换成def,跟在替换s后面的字符就是查找串和替换串之间的分割字符,
本例中用#分割
  • 指定行的范围:逗号
sed  -n ‘/abc/,/def/p’ file打印模式abc到def的行
sed  -n ‘5/,/def/p’ file打印从第五行到包含def行之间的行。
sed /abd/,/def/s/aaa/bbb/g修改从模式abc到模式def之间的行,把aaa替换成def
  • 多重编辑-e
sed  -e ‘1,3d’ -e ‘s/abc/def/g’ file删除1-3行,然后把其余行的abc替换成def
  • 读文件:r命令
sed  ‘/abc/r newfile’ file在包含abc的行后读入newfile的内容
  • 写文件:w命令
sed  ‘/abc/w newfile’ file在包含abc的行写入newfile
  • 追加:a命令
sed  ‘/abc/a\def’ file在包含abc的行后新起一行,写入def
  • 插入:i命令
sed  ‘/abc/i\def’ file在包含abc的行前新起一行,写入def
  • 修改:c命令
sed  ‘/abc/c\def’ file在包含abc的行替换成def,旧文本被覆盖
  • 读取下一行:n命令
sed  ‘/abc/{n ; s/aaa/bbb/g;}’ file读取包含abc的行的下一行,替换aaa为bbb
  • 转换:y命令
sed  ‘y/abc/ABC’ file将a替换成A,b替换成B,c替换成C(正则表达式元字符不起作用)
  • 退出:q命令
sed  ‘/abc/{ s/aaa/bbb/ ;q; }’ file在某行包含了abc,把aaa替换成bbb,然后退出sed。

暂存和取用:h命令(把模式行存储到暂存缓冲区)和g(取出暂存缓冲区的行并覆盖模式缓冲区)G(取出临时缓冲区的行)命令

h和g是复制行为(覆盖),H和G表示追加。

sed  -e ‘/abc/h’  -e ‘$G’ file包含abc的行通过h命令保存到暂存缓冲区,
在第二条命令汇中,sed读到最后一行$时,G命令从暂存缓冲区中读取一行,
追加到模式缓冲区的后面。即所有包含abc的行的最后一行被复制到文件末尾。
s****ed -e ‘/abc/{h; d;}’     -e  ‘/def/{g; }’ file包含abc的行会移到包含def的行上,并进行覆盖。
#!/bin/bash
#删除:d命令 
sed '2d' example#-----删除example文件的第二行。sed '2,$d' example#-----删除example文件的第二行到末尾所有行。sed '$d' example#-----删除example文件的最后一行。sed '/test/'d example#-----删除example文件所有包含test的行。#替换:s命令 
sed 's/test/mytest/g' example
#在整行范围内把test替换为mytest。如果没有g标记,则只有每行第一个匹配的test被替换成mytest。sed -n 's/^test/mytest/p' example
#(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说,如果某一行开头的test被替换成mytest,就打印它。sed 's/^192.168.0.1/&localhost/' example
#&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost,变成192.168.0.1localhost。sed -n 's//(love/)able//1rs/p' example
#love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。sed 's#10#100#g' example
#不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,“#”在这里是分隔符,代替了默认的“/”分隔符。表示把所有10替换成100。#选定行的范围:逗号 
sed -n '/test/,/check/p' example
#所有在模板test和check所确定的范围内的行都被打印。sed -n '5,/^test/p' example
#打印从第五行开始到第一个包含以test开始的行之间的所有行。sed '/test/,/check/s/$/sed test/' example
#对于模板test和west之间的行,每行的末尾用字符串sed test替换。#多点编辑:e命令 
$ sed -e '1,5d' -e 's/test/check/' example
#(-e)选项允许在同一行里执行多条命令。如例子所示,第一条命令删除1至5行,第二条命令用check替换test。命令的执 行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。$ sed --expression='s/test/check/' --expression='/love/d' example
#一个比-e更好的命令是--expression。它能给sed表达式赋值。#从文件读入:r命令 
sed '/test/r file' example
#file里的内容被读进来,显示在与test匹配的行后面,如果匹配多行,则file的内容将显示在所有匹配行的下面。#写入文件:w命令 
sed -n '/test/w file' example
#在example中所有包含test的行都被写入file里。#追加命令:a命令 
sed '/^test/a//--->this is a example' example<-----'this is a example'
#被追加到以test开头的行后面,sed要求命令a后面有一个反斜杠。#插入:i命令 
sed '/test/i//
new line
-------------------------' example
#如果test被匹配,则把反斜杠后面的文本插入到匹配行的前面#下一个:n命令 
sed '/test/{ n; s/aa/bb/; }' example
#如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续。#变形:y命令 
sed '1,10y/abcde/ABCDE/' example
#把1--10行内所有abcde转变为大写,注意,正则表达式元字符不能使用这个命令。#退出:q命令 
sed '10q' example
#打印完第10行后,退出sed。#保持和互换:h命令和x命令 
sed -e '/test/h' -e '/check/x' example 
#互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。sed /^$/d filename#可以删除文件中的空行。sed /^[[:space:]]*$/d filename#可以删除内容为多个空格/tab组成的行

http://www.ppmy.cn/news/36991.html

相关文章

面试题汇总

vue双向绑定的原理&#xff1f;首先要了解MVVM&#xff08;model数据层&#xff0c;view视图层&#xff0c;viewmodel数据逻辑层&#xff09;&#xff0c;viewmodel和view、model交互是双向的。数据层发生变化的时候&#xff0c;可同布更新视图层&#xff0c;当视图层发生变化的…

Android开发-Android常用组件-Button按钮

4.3 Button(按钮) Button控件继承TextView &#xff0c;拥有TextView的属性。StateListDrawable简介 StateListDrawable是Drawable资源的一种&#xff0c;可以根据不同的状态&#xff0c;设置不同的图片效果&#xff0c;关键节点<selector>&#xff0c;我们只需要将Butt…

手写 Promise 静态方法

文章目录手写 promiseresolve、rejectall、allSettledrace、any完整的 promise手写 promise 前置背景&#xff1a;大白话手写 promise resolve、reject 作为类直接调用的方法&#xff0c;自然是静态方法。 **resolve 与 reject 的原理都是内部自己实例化了一个 promise&…

hadoop伪分布式集群搭建

基于hadoop 3.1.4 一、准备好需要的文件 1、hadoop-3.1.4编译完成的包 链接: https://pan.baidu.com/s/1tKLDTRcwSnAptjhKZiwAKg 提取码: ekvc 2、需要jdk环境 链接: https://pan.baidu.com/s/18JtAWbVcamd2J_oIeSVzKw 提取码: bmny 3、vmware安装包 链接: https://pan.baidu…

go下载gin框架

1、开启Go Modules功能&#xff08;已开启可忽略此步骤&#xff09; go module是go官方自带的go依赖管理功能&#xff0c;从Go 1.13版本正式推荐使用&#xff0c;它可以将项目下的所有依赖集中到 go.mod 文件&#xff0c;进行集中管理。使用go module管理依赖将会在项目根目录…

【学习笔记】计算机视觉与深度学习(5.经典网络分析)

学习视频&#xff1a; 鲁鹏-计算机视觉与深度学习 同系列往期笔记&#xff1a; 【学习笔记】计算机视觉与深度学习(1.线性分类器) 【学习笔记】计算机视觉与深度学习(2.全连接神经网络) 【学习笔记】计算机视觉与深度学习(3.卷积与图像去噪/边缘提取/纹理表示) 【学习笔记】计…

mysql binlog 的配置与使用

1. 查看 binlog 是否开启 show global variables like log_bin;sql_log_bin : 当前会话 是否要记录 binlog 2. mysql 添加如下配置 修改 my.cnf 文件&#xff0c;一般来说都位于 /etc/my.cnf 这边。 在 [mysqld] 下写入如下内容&#xff1a; ## binlog d的日志模式 binlog-…

LCHub:ChatGPT4和低代码来临,程序员面临下岗?

一个网友吐槽道: “ 建站出来了,你们说程序员会失业。 低代码出来了,你们说程序员会失业。 Copilot出来了,你们说程序员会失业。 Chatgpt出来了,你们说程序员会失业 虽然这只是网友的吐槽,但却引起了小编的好奇。为何程序员那么容易被新技术取代?今天小编打算跟大家…