Linux---架构概览

news/2025/2/2 11:32:43/

一、Linux 架构分层的深度解析

1. 用户空间（User Space）

用户空间是应用程序运行的环境，与内核空间隔离，确保系统稳定性。

  • 应用程序层：

    • 用户程序：如 edge、vim，通过调用标准库（如 glibc）间接使用系统调用。
    • 动态链接：程序依赖共享库（.so 文件），由动态链接器（ld-linux.so）加载。
    • 执行权限：通过 execve() 系统调用启动程序，结合文件权限（如 rwx）控制执行。

  • 系统工具链：

    • GNU Coreutils：提供基础命令（ls、cp），通过 Shell 脚本组合实现复杂功能。
    • Shell 工作原理：
      • 解析命令为 argv 参数，调用 fork() 创建子进程，再通过 exec() 执行命令。
      • 管道（|）通过匿名管道（pipe()）实现进程间通信。
    • 图形界面：
      • X11/Wayland 协议负责窗口管理，GNOME/KDE 等桌面环境运行在显示服务器之上。
2. 内核空间（Kernel Space）

内核直接管理硬件，提供系统服务，代码运行在特权模式（Ring 0）。

  • 系统调用接口（SCI）：

    • 系统调用表：每个系统调用对应唯一编号（如 __NR_read），通过 syscall 指令触发软中断（如 int 0x80）。
    • 参数传递：通过寄存器（x86）或堆栈传递参数，返回值存入 eax 寄存器。
    • 示例：open("/file", O_RDWR) 触发 sys_open()，返回文件描述符（fd）。

  • 内核子系统协作：

    • 进程调度：当进程通过 sched_yield() 主动让出 CPU，或时间片耗尽时触发调度。
    • 中断处理：硬件中断（如键盘输入）触发中断服务程序（ISR），通过 irq_handler 处理。

二、核心子系统深度剖析

1. 进程管理

  • 进程与线程的实现：

    • 进程描述符（task_struct）：内核用此结构体管理进程的所有信息（PID、内存映射、打开文件等）。
    • 线程实现：线程共享进程的地址空间，通过 clone() 系统调用创建，标志位指定共享资源（如 CLONE_VM 共享内存）。
    • 轻量级进程（LWP）：Linux 线程本质是 LWP，由内核调度，与 POSIX 线程库（pthread）配合使用。

  • 调度器（CFS）：

    • 红黑树与 vruntime：所有可运行进程按 vruntime（虚拟运行时间）排序，CFS 选择最小 vruntime 的进程执行。
    • 时间片计算：vruntime 增长速率与进程优先级成反比（高优先级进程 vruntime 增长更慢）。
    • 实时调度类：
      • SCHED_FIFO：进程一直运行直到主动让出或更高优先级进程就绪。
      • SCHED_RR：相同优先级进程按时间片轮转。

  • 进程间通信（IPC）：

    • 共享内存：通过 shmget() 创建共享内存段，shmat() 映射到进程地址空间。
    • 信号量（Semaphore）：控制对共享资源的访问，通过 semop() 实现 P/V 操作。
    • 消息队列：msgget() 创建队列，msgsnd() 和 msgrcv() 发送/接收消息。
2. 内存管理

  • 虚拟内存机制：

    • 页表与多级分页：x86_64 使用 4 级页表（PGD、PUD、PMD、PTE），MMU 将虚拟地址转换为物理地址。
    • 缺页异常：访问未映射的页时触发缺页中断，内核可能从磁盘加载数据（如交换区或文件映射）。

  • 内存分配器：

    • Buddy 算法：
      • 将物理内存划分为 2^n 大小的块，分配时拆分，释放时合并相邻空闲块。
      • 解决外部碎片问题，但可能产生内部碎片。
    • Slab 分配器：
      • 针对小对象（如 inode、task_struct），预分配内存池，减少内存分配开销。
      • 每个 Slab 包含多个对象，通过缓存（kmem_cache）管理。

  • Swap 管理：

    • 页面换出：当物理内存不足时，kswapd 内核线程将不活跃页写入交换分区。
    • 交换优先级：通过页面标志（如 PG_active、PG_referenced）判断页面活跃度。
3. 文件系统

  • 虚拟文件系统（VFS）：

    • 抽象接口：
      • file_operations 结构体定义文件操作（如 read()、write()）。
      • dentry 缓存目录项，加速路径查找。
    • 挂载点：通过 mount() 系统调用将文件系统挂载到目录树。

  • Ext4 文件系统：

    • 日志（Journal）：
      • 写操作先写入日志，再提交到磁盘，确保崩溃后可通过日志恢复一致性。
      • 日志模式：journal（记录元数据和数据）、ordered（仅记录元数据，数据先写）。
    • 延迟分配（Delayed Allocation）：文件写入时先缓存数据，分配物理块推迟到刷新时，减少碎片。

  • 设备文件：

    • 字符设备：如 /dev/tty，通过 read()/write() 逐字节访问。
    • 块设备：如 /dev/sda，数据以块为单位读写，由 I/O 调度器合并请求。
4. 网络子系统

  • TCP/IP 协议栈：

    • 数据包处理流程：
      1. 链路层：网卡驱动接收帧，解析 MAC 地址。
      2. 网络层：IP 协议处理路由（通过路由表 fib_table），分片与重组。
      3. 传输层：TCP 协议维护连接状态（struct sock），处理重传与拥塞控制（如 CUBIC 算法）。
    • 套接字（Socket）：
      • 通过 socket() 创建，类型包括 SOCK_STREAM（TCP）、SOCK_DGRAM（UDP）。
      • 绑定端口后通过 listen() 等待连接，accept() 接受新连接。

  • Netfilter 框架：

    • 五个钩子点：NF_IP_PRE_ROUTING、NF_IP_LOCAL_IN、NF_IP_FORWARD、NF_IP_LOCAL_OUT、NF_IP_POST_ROUTING。
    • iptables 规则示例：
      iptables -A INPUT -p tcp --dport 22 -j ACCEPT  # 允许 SSH 连接
5. 设备驱动

  • 驱动模型：

    • 设备树（Device Tree）：描述硬件资源配置（如 ARM 平台），替代传统的硬编码配置。
    • sysfs 文件系统：通过 /sys 目录暴露设备信息（如 /sys/class/net/eth0）。

  • 模块加载：

    • 编译与加载：驱动代码编译为 .ko 文件，通过 insmod 加载，rmmod 卸载。
    • 依赖管理：modprobe 自动处理模块依赖关系。

三、Linux 启动流程的详细步骤

  1. BIOS/UEFI 阶段：

    • 硬件自检（POST）：检测 CPU、内存、外设。
    • 引导设备选择：按 BIOS 设置顺序（如硬盘、USB）寻找引导扇区。

  2. Bootloader（GRUB）：

    • 引导菜单：加载 grub.cfg，显示可启动内核列表。
    • 加载内核：读取 vmlinuz 和 initramfs 到内存，移交控制权。

  3. 内核初始化：

    • 解压与启动：解压内核镜像，初始化核心子系统（内存管理、进程调度）。
    • 挂载根文件系统：initramfs 提供临时根文件系统，加载真实根文件系统驱动（如 Ext4）。

  4. 用户空间初始化：

    • init 进程：
      • Systemd：并行启动服务单元（.service 文件），管理依赖关系。
      • 运行级别：systemctl isolate multi-user.target 切换运行模式。

四、Linux 设计哲学的实践体现

  1. 一切皆文件：

    • /proc 文件系统：通过 /proc/<pid>/status 查看进程状态，/proc/cpuinfo 获取 CPU 信息。
    • 伪终端（PTY）：通过 /dev/pts/0 实现终端会话，SSH 连接依赖此机制。

  2. 模块化设计：

    • 热插拔支持：插入 USB 设备时，内核自动加载 usb-storage.ko 驱动。
    • 自定义内核：通过 make menuconfig 裁剪不需要的模块，编译专属内核。

  3. KISS 原则的典型应用：

    • 文本处理流水线：grep "error" log.txt | awk '{print $1}' | sort | uniq -c 组合多个工具完成任务。

五、安全机制的实现细节

  1. Capabilities 机制：

    • 细分特权：传统 root 权限被拆分为数十种能力（如 CAP_NET_BIND_SERVICE 允许绑定低端口）。
    • 设置能力：通过 setcap cap_net_bind_service=+ep /usr/bin/myapp 赋予程序特定权限。

  2. LSM 框架：

    • SELinux：
      • 强制访问控制（MAC），基于安全上下文（如 user_u:role_r:type_t）限制进程访问资源。
      • 策略规则示例：allow httpd_t var_log_t:file { read write };。

  3. 命名空间（Namespaces）：

    • PID 命名空间：容器内进程 PID 从 1 开始，与宿主机隔离。
    • 网络命名空间：每个容器拥有独立网络栈，通过 veth pair 连接宿主机。

六、性能优化技术详解

  1. I/O 调度器选择：

    • Deadline 调度器：为每个请求设置截止时间，防止饿死（适合数据库负载）。
    • Kyber：针对 NVMe SSD 设计，基于队列深度动态调整。

  2. 内存优化：

    • 透明大页（THP）：自动合并 2MB 大页，减少 TLB 未命中次数（需内核配置 CONFIG_TRANSPARENT_HUGEPAGE）。
    • 内存压缩（zswap）：将不活跃页压缩后存入内存，而非写入交换区。

  3. eBPF 的高级应用：

    • 动态追踪：通过 bpftrace 脚本监控内核函数调用。
    • 网络加速：XDP（eXpress Data Path）在网卡驱动层处理数据包，实现 DDoS 防护。

总结与学习建议

Linux 的复杂性源于其广泛的应用场景和高度优化的设计。要深入理解：

  1. 实践方法：

    • 使用 strace 跟踪系统调用：strace -f -o log.txt gcc hello.c。
    • 通过 /proc 和 /sys 实时查看内核状态：cat /proc/meminfo。

  2. 源码学习：

    • 阅读内核源码（如进程调度代码在 kernel/sched/ 目录）。
    • 使用 QEMU + GDB 调试内核启动流程。

  3. 性能分析工具：

    • perf：分析 CPU 热点（perf record -g ./program）。
    • ftrace：跟踪内核函数调用链。

通过结合理论、代码和工具，可以逐步掌握 Linux 的核心机制，为系统级开发和运维打下坚实基础。

人的精神思想方面的优势越大，给无聊留下的空间就越小。 —叔本华


http://www.ppmy.cn/news/1568681.html

相关文章

将Deepseek接入本地Vscode

将Deepseek接入本地Vscode

第一步&#xff1a;获取Deepseek APIKEY 1.1 登录Deepseek官网 https://www.deepseek.com/ 1.2 选择API开放平台 1.3 注册账号并登录 1.4 登录成功后的就界面 1.5 点击左侧菜单栏“API keys”&#xff0c;并创建API key 名称自定义输入 生成API key 复制保存&#xff0c;丢失…
阅读更多...
《HelloGitHub》第 106 期

《HelloGitHub》第 106 期

兴趣是最好的老师&#xff0c;HelloGitHub 让你对编程感兴趣&#xff01; 简介 HelloGitHub 分享 GitHub 上有趣、入门级的开源项目。 github.com/521xueweihan/HelloGitHub 这里有实战项目、入门教程、黑科技、开源书籍、大厂开源项目等&#xff0c;涵盖多种编程语言 Python、…
阅读更多...
9.2k star！PiliPala一个第三方B站客户端！

9.2k star！PiliPala一个第三方B站客户端！

软件介绍 链接 PiliPala一个在Github上收获9.2k star的开源第三方bilibili客户端&#xff0c;支持安卓和ios端安装使用。应用界面简洁无广、除核心功能外无任何冗余功能和服务&#xff0c;让我们可以尽情的享受内容带给我们的快乐。 基础的功能如登录、点赞收藏、评论、关注、…
阅读更多...
MySQL(InnoDB表空间工具innodb_ruby)

MySQL(InnoDB表空间工具innodb_ruby)

后面也会持续更新&#xff0c;学到新东西会在其中补充。 建议按顺序食用&#xff0c;欢迎批评或者交流&#xff01; 缺什么东西欢迎评论&#xff01;我都会及时修改的&#xff01; Jeremy Cole的博客&#xff1a;blog.jcole.us/innodb/ ruby安装后 -bash: gem: command not fou…
阅读更多...
Hive:基本查询语法

Hive:基本查询语法

和oracle一致的部分 和oracle不一样的部分 排序 oracle中,在升序排序中&#xff0c;NULL 值被视为最大的值&#xff1b;在降序排序中&#xff0c;NULL 值被视为最小的值。 在MySQL中&#xff0c;NULL 被视为小于任何非空值。 在Hive中, NULL是最小的; Hive除了可以用order…
阅读更多...
小程序-基础加强

小程序-基础加强

前言 这一节把基础加强讲完 1. 导入需要用到的小程序项目 2. 初步安装和使用vant组件库 这里还可以扫描二维码 其中步骤四没什么用 右键选择最后一个 在开始之前&#xff0c;我们的项目根目录得有package.json 没有的话&#xff0c;我们就初始化一个 但是我们没有npm这个…
阅读更多...
【WebGL】纹理

【WebGL】纹理

背景 记录下纹理相关容易忘记的地方 texImage2D 根据数据源不同&#xff0c;有多个重载函数 上传 HTML 元素&#xff08;图片、视频、Canvas 等&#xff09; gl.texImage2D(target, level, internalformat, format, type, source);参数说明&#xff1a; target: 目标纹理…
阅读更多...
1.4 Go 数组

1.4 Go 数组

一、数组 1、简介 数组是切片的基础 数组是一个固定长度、由相同类型元素组成的集合。在 Go 语言中&#xff0c;数组的长度是类型的一部分&#xff0c;因此 [5]int 和 [10]int 是两种不同的类型。数组的大小在声明时确定&#xff0c;且不可更改。 简单来说&#xff0c;数组…
阅读更多...
最新文章

Copyright @ 2022~2023