Shell脚本编程

Shell编程

视频地址https://www.bilibili.com/video/BV1hW41167NW/?p=1&vd_source=977d52a6b92ce8b6ae67c16fc61f0428

第一章 Shell概述

大数据程序员为什么要学习Shell呢？

需要看懂运维人员编写的Shell程序
偶尔会编写一些简单的Shell程序来管理集群，提高开发效率。

Shell概述

Shell是一个命令行解释器，它接收应用程序的/用户命令，然后调用操作系统内核。
Shell 还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。
在这里插入图片描述

第二章 Shell解析器

Linux提供的shell解析器有：6种系统
默认的是/bin/bash
bash和sh的关系，sh是bash的软连接
Contos默认的解析器是bash

第三章 Shell脚本入门

3.1 脚本格式

脚本以#!/bin/bash开头(指定解析器)

3.2 第一个Shell脚本：hello world

需求：创建一个Shell脚本，输出helloworld
创建一个文件夹，以后存放的shell脚本全放在这个文件夹下 mkdir shelldatas
在这里插入图片描述

进入shelldatas：cd shelldatas
在这里插入图片描述

在shelldatas下创建shell脚本：touch helloworld.sh
在这里插入图片描述

编辑sh脚本：vim helloworld.sh
在这里插入图片描述

按i进行输入输入完成后按ESC键，输入:wq退出
运行脚本 ,有以下方式
sh helloworld.sh
在这里插入图片描述

bash helloworld.sh
在这里插入图片描述

bash /shelldatas/helloworld.sh
在这里插入图片描述

sh /shelldatas/helloworld.sh
在这里插入图片描述

./helloworld.sh 这个会报权限不够；
在这里插入图片描述

输入ll 查看权限
给文件添加权限：chmod +x ./test.sh
使脚本具有执行权限
在这里插入图片描述

输入ll查看权限
在这里插入图片描述

权限赋予之后使用./helloworld.sh或者/shelldatas/helloworld.sh
在这里插入图片描述

注意：第一中执行方法，本质是bash解析器帮你执行脚本，所以脚本本身不需要执行权限，第二种执行方法，本质是脚本需要自己执行，所以需要执行权限。

3.3 第二个Shell脚本：多命令处理

需求
在/shelldatas目录下创建一个banzhang.txt在banzhang.txt文件中增加”I love cls“
创建batch.sh脚本 touch batch.sh
在这里插入图片描述

编辑batch.sh vim batch.sh
在这里插入图片描述

按i进行输入，完成后按ESC并输入:wq退出
在这里插入图片描述

执行batch.sh sh batch,sh
在这里插入图片描述

查看文件夹是否多了banzhang.txt文件。
在这里插入图片描述

打开banzhang.txt,内容显示在控制台上。cat banzhang.txt
在这里插入图片描述

第四章 Shell中的变量

4.1系统变量

4.1.1 常用系统变量

$HOME、$PWD、$SHELL、$USER等

4.1.2 案例实操

查看系统变量的值
显示当前shell中的所有变量：set

4.2 自定义变量

4.2.1 基本语法

定义变量：变量 = 值
在这里插入图片描述

撤销变量： unset 变量
在这里插入图片描述

声明静态变量： readonly 变量，注意不能unset
在这里插入图片描述

变量定义规则

变量名称可以由字母、数字和下划线组成，但是不能以数字开头，环境变量名建议大写。
等号两侧不能有空格。
在bash中，变量默认类型都是字符串类型，无法直接进行数值运算
变量的值如果有空格，需要使用双引号或单引号括起来。
可把变量提升为全局环境变量，可供其他Shell程序使用

4.2.2 `export 变量名`

编辑helloworld.sh

在这里插入图片描述

输入指令echo $D,
在这里插入图片描述

保存后运行helloworld.sh，$D 并没有被输出
在这里插入图片描述

目前$D为局部变量，将它提升为全局变量，export D
在这里插入图片描述

运行helloworld.sh
在这里插入图片描述

注意：变量设置为全局变量后，可供所有的shell脚本内使用，常见的场景就是些javahome，dorkehome等

4.3 特殊变量： `$n`

4.3.1 基本语法

$n(功能描述：n为数字，$0代表该脚本名称，$1-9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含如${10})

4.3.2 案例实操

创建touch parameter.sh;编辑文件 vim parameter.sh
在这里插入图片描述

输入 echo ”$0 $1 $2 $3“
在这里插入图片描述

报存编辑运行parameter.sh,sh parameter.sh
在这里插入图片描述

应用场景，判断你输入的参数，脚本内根据参数执行相应的内容，

4.4 特殊变量： `$#`

4.4.1 基本语法

$# (功能描述：获取所有输入参数个数，常用于循环)。
实操案例
继续编辑vim parameter.sh 输入echo ‘$#’
在这里插入图片描述

保存运行脚本
在这里插入图片描述

4.5 特殊变量： `$*`、`$@`

4.5.1 基本语法

$*(功能描述：这个变量代表命令行中所有的参数，$*把所有的参数看成一个整体)
$@ （功能描述：这个变量也代表命令行中的所有的参数，不过$@把每个参数区分对待）

4.5.2 案例实操

在这里插入图片描述

4.6特殊变量： $?

4.6.1基本语法

$? （功能描述：最后一次执行的命令的返回状态，如果这个变量的值为0，证明上一个命令正确执行，如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了）

4.6.2 实操案例

在这里插入图片描述

第五章运算符

5.1 基本语法

”$((运算式))“或”$[运算式]“
expr +，-，\*, / ,% 加，减，乘，除，取余
注意：expr 与运算符之间要有空格。

5.2实操案例

计算2+3，3-2
在这里插入图片描述

计算混合运行（2+3）*4
expr的形式，expr 2 + 3 用上顿号包起来表示让它先运行，后面在执行最外层的运算
在这里插入图片描述

通过[]中括号的形式，这个明显简单些，中括号内直接放运算式子
在这里插入图片描述

第六章条件判断

6.1 基本语法

【 condition 】（注意condition前后要有空格）
注意：条件非空即为true，【 zhangsan 】返回true，[]返回false

6.2 常用判断条件

6.2.1 连个整数之间比较

= 字符串比较
-lt 小于（less than） -le 小于等于（less equal）
-eq 等于（equal） -gt 大于（greater then）
-ge 大于等于（greater equal） -ne 不等于（Not equal）

6.2.2 按照文件权限进行判断

-r 有读的权限（read） -w 有写的权限（write）-x 有执行的权限（execute）

6.2.3 按照文件类型进行判断

-f 文件存在并且是一个常规的文件（file）
-e 文件存在（existence）-d 文件存在并不是一个目录（directory）

6.2.4 例子：

判断23 大于等于 22，
在这里插入图片描述

判断helloworld.sh 是否具有写权限
在这里插入图片描述

/shelldatas/cls.txt 目录中的文件是否存在
在这里插入图片描述

多条件判断（&&表示前一条命令执行成功时，才执行后一条命令）， || 表示上一条命令执行失败后，才执行下一条命令
在这里插入图片描述

第七章流程控制(重点)

7.1 if判断

7.1.1 基本语法

if [ 条件判断式 ]:then程序
fi
或者
if 【 条件判断式 】then程序
fi

【条件判断式】，中括号和条件判断式之间必须有空格
if 后要有空格

7.1.2 案例实操

输入一个数字，如果式1，则输出ni zhen shuai，如果输出2，则输出ni zhen chou，如果是其他，什么也不输出。
在这里插入图片描述

7.2 case 语句

7.1.1 基本语法

case $ 变量名 in
”值1“)
如果变量的值等于值1，则执行程序1
;;
”值2“）
如果变量的值等于值2，则执行程序2
;;
...省略其他分支...
*)
如果变量的值都不是以上的值，则执行此程序
;;
esac

注意事项：

case行尾必须为单词”in“，每一个模式匹配必须以右括号”）“结束
双分号”;;“表示命令序列结束，相当于Java中的break
最后的” *）“表示默认模式，相当于Java中的default

7.1.2 案例实操：

输入一个数字，如果是1，则输出beijing，如果是2，则输出nanjing，如果是其他，则输出shanghai
在这里插入图片描述

7.3 for循环

7.3.1 基本语法

for (( 初始值;循环控制条件;变量变化 ))do程序
done

7.3.2 案例实操

从1加到100
在这里插入图片描述

7.3.3基本语法2

for 变量 in 值1 值2 值3...do程序
done

7.3.4 实操案例：打印所有输入参数

在这里插入图片描述

$*的输出，一次输出一个参数

在这里插入图片描述

$@的输出，一次输出一个参数
在这里插入图片描述

“$*” 加引号的，一次输出所有，只循环一次

在这里插入图片描述

加”$@“ 一次输出一个

在这里插入图片描述

总结：$@、$*、"$@",参数有几个就循环几次，
"$*", 不管参数有多少个，它只循环一次，并且值就是所有的值

7.4 while循环

7.4.1 基本语法

while [ 条件表达式 ]do程序done

7.4.2 实例：从1加到100

在这里插入图片描述

第八章 read读取控制台输入

8.1 基本语法

read(选项)(参数)

选项:
-p:指定读取值时的提示符；
-t: 指定读取值时等待的时间（秒）；参数：变量：指定读取值的变量名

8.2案例实操

提示7秒内，读取控制台输入的名称
在这里插入图片描述

在这里插入图片描述

第九章函数

9.1 系统函数

9.1.1 basename 基本语法

basename [string/pathname] [suffix] （功能描述：basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来）
选项：suffix为后缀，如果suffix被指定了，basename会将pathname或string中的suffix去掉。

9.1.2 案例实操

截取该/shelldatas/helloword.sh路径的文件名称
在这里插入图片描述

9.1.3 dirname基本语法

dirname文件绝对路径 （功能描述：从给定的包含绝对路径的文件名中去除文件名（非目录部分）然后返回剩下的路径（目录的部分））

9.1.4 案例实操

在这里插入图片描述

9.2 自定义函数

9.2.1 基本语法

[ function ] funname[()]
{Action;[return int;]
}
funname

经验技巧

必须在调用函数地方之前，先声明函数，shell脚本是逐行运行，不像其他语言一样编译。
函数返回值，只能通过$?系统变量获得，可以显示加：return返回，如果不加，将以最后一条命令运行结果作为返回值，return后跟数值n（0~255）

9.2.2 案例实操（计算两个输入参数的和）

在这里插入图片描述

第十章 Shell工具（重点）

10.1 cut

cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的，cut命令从文件的每一行剪切字节、字符
和字段并将这些字节、字符和字段输出。

10.1.1 基本语法

cut[选项参数] filename
说明：默认分割符是治标符
选择参数说明

选项	功能
-f	列号，提取第几列
-d	分隔符，按照指定分隔符分隔

10.1.2 实操案例

准备数据

在这里插入图片描述

选取系统path变量值，第2个“：”开始后的所有路径
在这里插入图片描述

切割ifconfig后打印的ip地址

ifconfig eth0
ifconfig eth0 | grep "inet addr"
ifconfig eth0 | grep "inet addr" | cut -d : -f 2
ifconfig eth0 | grep "inet addr" | cut -d : -f 2 | cut -d " " -f 1

10.2 sed

sed是一种流编译器，它一次处理一行内容，处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕，接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。

10.2.1 基本语法

sed[选项参数] ‘command’ filename

10.2.2 选项参数说明

选项参数	功能
-e	直接在指令列模式上进行sed动作编辑

10.2.3 命令功能描述

命令	功能
a	新增，a的后面可以接字串，在下一行出现
d	删除
s	查找并替换

10.2.4 实例实操

在这里插入图片描述

将meinv 这个单词插入到sed.txt第二行，打印

删除源文件中包含zou的行
在这里插入图片描述

将sed.txt文件中将zhangsan替换为lisi
在这里插入图片描述

将sed.txt文件中的第二行删除，并将zhangsan替换为lisi

在这里插入图片描述

10.3 awk

一个强大的文本分析工具，把文件逐行的读入，以空格为默认分割符将每行切片，切开的部分在进行分析处理。

10.3.1 基本用法

awk[选项参数] ‘patternl {action1} pattern2 {action2}...’ filename
pattern": 表示awk在数据中查找的内容，就是匹配模式
action：在找到匹配内容时所执行的一系列命令

10.3.2 选项参数说明

选项参数	功能
-F	指定输入文件拆分隔符
-V	赋值一个用户定义变量

10.3.3 案例实操

数据准备

搜索passwd文件以root关键字开头的所有行，并输出改行的第7列
在这里插入图片描述

搜索passwd文件以root关键字开头的所有行，并输出该行的第1列和第7列，中间以“，”号分割
在这里插入图片描述

注意：只有匹配了pattern的行才会执行action
只显示/etc/passwd的第一列和第七列，以逗号分隔，且在所有行前面添加列名user，shell在最后一行添加“dage，/bin/zhishai”
在这里插入图片描述

注意：BEGIN在所有数据读取行之前执行，END在所有数据执行之后执行。
将passwd文件中的用户id增加数值1，并输出
在这里插入图片描述

10.3.4 awk的内置变量

变量	说明
FILENAME	文件名
NR	已读的记录数
NF	浏览纪律的域的个数（切割后，列的个数）

10.3.5 案例实操

统计passwd文件名，每行的行号，每列的列数
在这里插入图片描述

切割IP
在这里插入图片描述

查询sed.txt中空行所在的行号
在这里插入图片描述

10.4 sort

sort 命令式在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。

10.4.1 基本语法

sort(选项)（参数）

选项	说明
-n	依照数值大小排序
-r	以相反的顺序排序
-t	设置排序时所用的分隔字符
-k	指定需要排序的列

10.4.2 案例实操

在这里插入图片描述

第11章：企业真实面试题

11.1 京东

问题1：使用Linux命令查询filel中空行所在的行号
在这里插入图片描述

有文件chengji.txt内容如下

张三 40
李四 50
王五 60

使用Linux 命令计算第二列的和并输出：

cat chengji.txt | awk -F " " '{sum+=$2}  END{print sun}'

11.2搜狐&和讯网

Shell脚本里如何检查一个文件是否存在？如果不存在该如何处理？

#！ /bin/bash
if [ -f file.txt ]; thenecho "文件存在"
elseecho "文件不存在"
fi

11.3 新浪

用shell写一个脚本，对文本中无序的一列数字排序
在这里插入图片描述

11.4金和网络

请用shell脚本写出查找当前文件夹（/home）下所有的文本文件内容中包含有字符”shen“的文件名称

在这里插入图片描述