Stepdown SLOPE for Controlled Feature Selection

embedded/2025/3/4 13:02:25/

文章:《Stepdown SLOPE for Controlled Feature Selection》

如何保证错选率可控特征选择????

研究背景

现有SLOPE方法主要关注FDR(错误发现率)控制,但在实际应用中需更严格地控制k-FWER(k个或更多错误拒绝的概率)和FDP(错误发现比例)。传统方法依赖p值计算或复杂假设,难以适应高维数据场景。本文结合步降(stepdown)程序与SLOPE框架,提出新型控制方法。

核心技术

k-SLOPE:通过非递增正则化序列 λ k -FWER ( i ) \lambda_{k\text{-FWER}}(i) λk-FWER(i),基于Lehmann-Romano步降阈值设计,控制k-FWER。
F-SLOPE:采用 λ FDP ( i ) \lambda_{\text{FDP}}(i) λFDP(i)参数序列,结合 ⌊ γ i ⌋ + 1 \lfloor\gamma i\rfloor+1 γi+1调整,实现FDP控制。
理论保证:在正交设计下证明k-FWER和FDP控制;广义高斯设计下通过方差修正调整参数序列。

在这里插入图片描述

核心贡献

首次将步降程序融入SLOPE框架,扩展其统计控制能力至k-FWER和FDP。
提出参数序列设计准则,正交设计下直接映射步降阈值,广义设计下引入方差修正项。
实验验证,正交/相关/高斯设计场景下,k-SLOPE和F-SLOPE在控制指标(FDR/k-FWER/FDP)与检测功效(Power)上均优于传统步降方法。

解决问题

1)突破SLOPE仅限FDR控制的局限,解决高维特征选择中更严格的错误控制需求。
2)避免传统方法对p值或独立假设的依赖,提供基于正则化的高效解决方案。
3)为生物信息学、基因组学等领域提供兼具理论保证与计算可行性的新工具。


全文章节精简翻译

摘要
提出k-SLOPE与F-SLOPE,通过将步降程序注入SLOPE框架,分别实现k-FWER和FDP控制。正交设计下理论证明控制有效性,广义设计下提供参数调整准则。实验验证方法优于传统步降法与原始SLOPE。

引言
高维特征选择需平衡稀疏性与错误控制。现有SLOPE仅关注FDR,而k-FWER/FDP在医疗诊断等场景更关键。本文结合步降程序的阈值设计,扩展SLOPE的统计控制能力。

相关工作

1)SLOPE方法:通过排序 ℓ 1 \ell_1 1惩罚实现FDR控制,但缺乏对其他指标的支持。
2)统计指标:FDR为FDP期望,k-FWER是FDP的尾部概率控制,三者存在数学关联但需独立设计方法。

预备知识

SLOPE模型:目标函数为 1 2 ∥ y − X β ∥ 2 + ∑ λ i ∣ β ∣ ( i ) \frac{1}{2}\|y-X\beta\|^2 + \sum\lambda_i|\beta|_{(i)} 21y2+λiβ(i),参数序列按BH阈值设计。
步降程序:通过动态调整拒绝阈值,逐步筛选假设以满足k-FWER或FDP约束。

方法论(不同数据假设下的两种设置)

正交设计:k-SLOPE参数 λ k -FWER ( i ) = Φ − 1 ( 1 − k α / 2 ( m + k − i ) ) \lambda_{k\text{-FWER}}(i)=\Phi^{-1}(1-k\alpha/2(m+k-i)) λk-FWER(i)=Φ1(1kα/2(m+ki)),F-SLOPE参数含 ⌊ γ i ⌋ + 1 \lfloor\gamma i\rfloor+1 γi+1项。
广义设计:引入协方差矩阵修正项 w ( ∣ S ∣ ) = 1 n − ∣ S ∣ − 1 w(|S|)=\frac{1}{n-|S|-1} w(S)=nS11,递归调整参数序列以补偿相关性影响。
\end{itemize}

实验验证

正交实验:当 t = 500 t=500 t=500时,F-SLOPE的 Prob(FDP > γ ) = 0 \text{Prob(FDP}>\gamma)=0 Prob(FDP>γ)=0,FDR=0.005,Power=0.997,全面优于原始SLOPE。
相关实验:在实验室效应模型中,k-SLOPE的k-FWER控制误差低于0.01,功率达0.95,显著优于传统步降法。
高斯设计:弱信号( β = 2 log ⁡ m \beta=\sqrt{2\log m} β=2logm )下,F-SLOPE仍保持FDR<0.1,验证广义参数设计的鲁棒性。

在这里插入图片描述

结论

本文首次将k-FWER与FDP控制融入SLOPE框架,理论证明与实验表明其在多种设计场景下的有效性,为高维数据特征选择提供更灵活的错误控制工具。


http://www.ppmy.cn/embedded/169916.html

相关文章

使用 malloc 函数创建和操作二维整型数组

目录 一、引言 二、代码实现 三、代码详解 &#xff08;一&#xff09;头文件引入 &#xff08;二&#xff09;定义数组维度 &#xff08;三&#xff09;动态分配二维数组内存 &#xff08;四&#xff09;初始化二维数组 &#xff08;五&#xff09;输出二维数组 &…

Linux系统(以Ubuntu为例)安装高版本nodejs

运行以下命令可以下载并执行 nvm&#xff08;Node Version Manager&#xff09;的安装脚本。这个命令会从 nvm 的官方GitHub仓库下载特定版本的安装脚本并执行它&#xff0c;从而在你的系统上安装 nvm。 详细步骤 打开终端&#xff1a;首先&#xff0c;打开你的终端应用程序。…

02原理篇(D2_SpringBoot 自动装配原理)

目录 一、自动装配机制 1. 简介 2. 自动装配主要依靠三个核心的关键技术 3. run()方法加载启动类 4. 注解SpringBootApplication包含了多个注解 4.1 SpringBootConfiguration 4.2 ComponentScan 4.3 EnableAutoConfiguration 5. SpringBootApplication一共做了三件事 …

数据分析与取证 网络安全技能竞赛

数据分析与取证 网络安全技能竞赛&#xff1a;新手入门指南 在网络安全的世界中&#xff0c;数据分析与取证是两个至关重要的领域。对于刚入行的小白来说&#xff0c;理解这两个领域并运用到竞赛中可能有些困难。本文将带你了解如何在“数据分析与取证 网络安全技能竞赛”中获…

ECU抽象-通信硬件抽象

通信硬件抽象模块实现了对内部和外部通信控制器的统一抽象 1.CAN模块示例 CAN接口&#xff08;CAN Interface&#xff09;&#xff1a; 这是提供给上层服务层&#xff08;如PDU路由模块、通信栈模块等&#xff09;的接口。在这一层&#xff0c;上层服务无需关注具体CAN控制器…

Android Framework startServices 流程

找到Activity它继承的Context里面就有startService函数 具体实现在ContextImpl&#xff0c;而ContextImpl则是由createBaseContextForActivity这个函数创建的&#xff0c;简单点说就是ActivityThread&#xff0c;startActivity时创建并赋予的 startService往下找就会找到一个S…

企业微信里可以使用的企业内刊制作工具,FLBOOK

如何让员工及时了解公司动态、行业资讯、学习专业知识&#xff0c;并有效沉淀企业文化&#xff1f;一份高质量的企业内刊是不可或缺的。现在让我来教你该怎么制作企业内刊吧 1.登录与上传 访问FLBOOK官网&#xff0c;注册账号后上传排版好的文档 2.选择模板 FLBOOK提供了丰富的…