Nvme协议第三章 Controller Registers

server/2024/10/21 6:30:01/

控制器寄存器位于MLBAR/MUBAR寄存器(PCI BAR0和BAR1)中,该寄存器应映射到支持有序访问和可变访问宽度的内存空间。host主机通过访问虚拟内存的方式访问该部分寄存器。

注:访问过程只能一次访问一个寄存器,不能多个访问。

寄存器如下:

 1 Offset 00h:CAP

 注意type类型以及bit位。MPSMAX和MPSMIN只是设置一个最大最小范围,具体实际的配置还是需要使用CC.MPS设置。(下图是nvme驱动code(Linux-6.8.8)调用read接口读bar空间 cap信息)

 

 全局搜索了下code,用到ctrl->cap的地方:

 nvme disable controller时候,等待CSTS_RDY状态变化,cap有一项timeout项,需要读取timeout时间,此时间可以理解为一个上限时间,不能超过此时间。通常是以500ms为一个单位。

 /**********************************************************************************************************/

 

 在驱动nvme enable ctrl内:

1 首先读取bar空间CAP,写入到本地ctrl->cap

2 获取dev page min;

3 CSS支持情况,协议定义如下:

 4 关于ctrl->ctrl_config配置,放到后面详细说明。这里配置了ctrl_config,然后写入到nvme register。

 5 重新读取cc reg,然后cap reg重读一次(这里暂时没理解到为什么cc写入一次,会影响到cap)

 6 超时判断,如果&NVME_CAP_CRMS_CRWMS为真,那么需要读取Controller Ready timeout

   定义:NVME_REG_CRTO  = 0x0068,   /* Controller Ready Timeouts */

7 开启cc enable

8 超时等待,等待NVME_CSTS_RDY状态转变。

 /**********************************************************************************************************/

 此函数是mps转换sector。

 /**********************************************************************************************************/

 当admin命令queue create完成,执行nvme_init_ctrl_finish函数。

1 读取SSD FW版本,即:

2  读取admin queue entry size:表明单个queue支持的最大entry个数。

3 读取NSSRS:是否支持子系统

 4 identify和configuration设置。(后序再详细解析)

/**********************************************************************************************************/

 扫描NS信息。NVME_CAP_CRMS_CRIMS

nvme协议上对59bit和60bit是reserved,但是nvme驱动里面代表什么含义?

Offset 08h: VS – Version

当admin AQA等信息全部设置完成,可以create admin命令后,执行nvme_init_ctrl_finish函数,读取SSD 版本信息。

Offset 14h: CC – Controller Configuration

3.1 CC.EN 

 在CC.EN =1之前,host应该设置:CC.AMS 、CC.MPS、CC.CSS。

如果在初始化CC.IOCQES和(CC.IOSQES之前去创建IO queue,那么会造成controller去终止创建IO CQ和IO SQ,并返回一个无效状态(status code of Invalid Queue Size)。

当SQ doorbell tail写入成功后,EN应该设置为1。 

当EN被清空为“0”时,控制器不得处理命令,也不得将CQ entry写入到CQ queue里面。

当EN状态从1->0时候,controller被重启。删除所有的IO queue(SQ和CQ),复位Admin SQ和CQ queue,硬件处于idle状态。controller级别重启并不影响到PCI寄存器设定和AQA ASQ ACQ的设定。但是其他相关联的,在bar空间(本章节就是bar空间寄存器定义,应该可以这样理解)恢复成默认状态。

controller应该确保在重启操作之前,已经发送到nvme设备的命令,数据没有丢失(需要SSD PLP掉电保护机制来保证),并收到cpl msg到CQ。

当EN被清空为0时候,一旦controller准备好重新启用,CSTS.RDY 被controller清空为0;

当EN=1时候,如果controller准备好处理命令,CSTS.RDY 被controller设置为1。

以下两个情况导致未定义结果

CSTS.RDY=1时,EN状态从0->1过程中;

CSTS.RDY=0时,EN状态从1->0过程中;

另外:AQA ASQ和ACQ只能在EN=0情况下进行修改

查看Linux内核code,驱动中关于CC.EN设置:

nvme_disable_ctrl函数内部,设置EN=0,用于shutdown流程。

/**********************************************************************************************************/

nvme_enable_ctrl函数如上CAP的描述,设置EN=1。

/**********************************************************************************************************/

 函数是表面此刻continue是否正在处理cmd。必须在EN=1才有效。

 3.2 CC.CSS

 

CC.CSS是为了IO SQ选择使用的命令集。host应该选择一个支持的命令集,并且只能在CC.EN =0情况下修改,这个改动应该适用于正在使用的所有IO SQ。(主要关注nvme命令)

  3.3 CC.MPS

MPS是设置host page size,但是范围只能在[CAP.MPSMIN,CAP.MPSMAX]。

 关于CC.AMS、CC.SHN、CC.IOSQES、CC.IOCQES如上,依然写入到ctrl->ctrl_config。

  3.4 CC.AMS

 选择仲裁机制,也需要在EN=0情况下设置。

3.5 CC.SHN

用于设置 shutdown notification。host应该在PCI power management state改变或者下电发生前进行设置。

发生warm reboot时候,需要重新配置(关于reboot类型 如cold warm等,可以单独分析);

特别注意:当SHN改变成01b或者10b时候,其他位域可能会改变。

3.6 CC.IOSQES

用于定义IO命令集可以保存多少个SQ entry。

3.7 CC.IOCQES

用于定义IO命令集可以保存多少个CQ entry 。

驱动内部定义CC IOSQES= 6 << 16 =  0x60000;IOCQES= 4 << 20 = 0x400000。


http://www.ppmy.cn/server/35052.html

相关文章

安卓第三方app调用system/lib库报错的问题

报错如下 04-29 13:45:13.787 2339 2339 E AndroidRuntime: java.lang.UnsatisfiedLinkError: dlopen failed: library "/system/lib/libxxxx.so" needed or dlopened by "/apex/com.android.art/lib/libnativeloader.so" is not accessible for the nam…

第3章 WebServer重构

3.1 重构原生Web服务框架 3.1.1 分析原生Web服务框架 在服务端代码的 ClientHandler 中&#xff0c;请求解析、处理请求、返回响应的代码混杂在一起&#xff0c;这样的设计会导致代码难以维护和理解。为了提高代码的可读性、可维护性和可扩展性&#xff0c;我们需要对这些代码…

8、基本数据类型转换(自动转换和强制转换)

基本类型转换 1、自动类型转换2、强制类型转换 1、自动类型转换 定义&#xff1a;当Java程序在进行赋值或者运算时&#xff0c;精度小的类型会自动转换成精度大的数据类型&#xff0c;这个就是自动类型转换。&#xff08;自动小转大&#xff09; 背多芬&#xff1a; 这里要明…

云原生周刊:Terraform 1.8 发布 | 2024.5.6

开源项目推荐 xlskubectl 用于控制 Kubernetes 集群的电子表格。xlskubectl 将 Google Spreadsheet 与 Kubernetes 集成。你可以通过用于跟踪费用的同一电子表格来管理集群。 git-sync git-sync 是一个简单的命令&#xff0c;它将 git 存储库拉入本地目录&#xff0c;等待一…

StringUtils中isBlank()和isEmpty()的区别

1.首先导入依赖common-lang3 <!--string的扩展api--><dependency><groupId>org.apache.commons</groupId><artifactId>commons-lang3</artifactId><version>3.12.0</version> <!-- 请使用最新版本 --></dependency&g…

GIS设计与开发课程设计(一)

环境&#xff1a;Windows10专业版 ArcGIS10.2 ArcEngine10.2 Visual Studio 2019 因每个人电脑版本和软件版本不同&#xff0c;运行的结果可能不同 系列文章&#xff1a; GIS设计与开发课程设计&#xff08;一&#xff09; GIS设计与开发课程设计&#xff08;二&#xff09;…

Leetcode编程练习

面试题-消失的数字 . - 力扣&#xff08;LeetCode&#xff09; class Solution { public:void reverse(vector<int>& nums, int start, int end) {while (start < end) {swap(nums[start], nums[end]);start 1;end - 1;}}void rotate(vector<int>& …

【前端开发行业市场分析报告】

前端开发行业市场分析报告 一、行业分析 1. 行业概况 前端开发是互联网行业中的重要部分&#xff0c;主要负责用户界面的设计和实现。随着互联网的普及和技术的发展&#xff0c;前端开发的重要性日益凸显。它涉及到的技术包括HTML、CSS、JavaScript等&#xff0c;并且需要与…