VALSE 20200415 | 机器学习 vs 压缩感知:核磁共振成像与重建

news/2024/11/19 14:43:07/

【Talk】VALSE 20200415 | 机器学习 vs 压缩感知:核磁共振成像与重建

文章目录

  • 【Talk】VALSE 20200415 | 机器学习 vs 压缩感知:核磁共振成像与重建
    • Deep learning for MR imaging and analysis - Shanshan Wang
    • Machine Learning for CS MRI: From Model-Based Methods to Deep Learning - Bihan Wen
      • 重建问题简介
      • 压缩感知介绍
      • Model-based method: Transform learning for better sparsity
        • 基本概念
        • 1.Transform learning Method 1: Sparsifying Transform Learning(STL)
        • 2.Unitary Transform Learning (UT)
        • 3. Learning a UNIon of Transforms (UNITE)
        • 4.Flipping and Rotation Invariant Sparsifying Transform (FRIST)
        • 5. Sparsifying TRansfOrm Learning and Low-Rankness (STROLLR)
        • 总结
        • 讨论
      • Deep Learning
        • 一些主流模型
        • 深度学习模型和传统模型的对比

报告主页:http://valser.org/article-359-1.html

20200415 机器学习 vs 压缩感知:核磁共振成像与重建

PPT:Shanshan Wang slides | Bihan Wen slides

谷歌学术:

  • 王珊珊 Shanshan Wang | siat
  • 文碧汉 | ntu

Deep learning for MR imaging and analysis - Shanshan Wang

可以参考前面链接中的ppt,这里不重点讲,我们主要关注文碧汉老师的talk。

Machine Learning for CS MRI: From Model-Based Methods to Deep Learning - Bihan Wen

重建问题简介

计算机视觉准确来说是图像理解,成像/重建的本质是感知,从低质量观测恢复高质量图像。

计算机视觉和图像重建对比

MRI成像过程可以看做下面的公式:

MRI成像模型

理想情况下k-space是连续的,但是由于信息的采集都是的数字信号,因此采集到的都是离散化的数据,因此可以说采集到的k-空间的全采样图像都是真实情况下的欠采样。

但是我们要讨论的情况是在全采样情况下的欠采样,也就是对全采样的图像我们只采样部分区域,如下图:

但是直接求解这个逆过程是一个ill-posed 问题。在十年前,压缩感知作为一个比较好的方法在重建领域大放异彩。

压缩感知介绍

经典压缩感知公式如下

  • 有约束优化问题(Transform domain sparsity):利用MR成像的关系式 F u x = y F_ux=y Fux=y,我们设计一个有约束的优化问题。目标在固定的Transform(变换)下的最优的sparsity,找到使得sparsity最优的 x x x

    image-20230707013832092

  • 无约束优化问题:sparsity作为正则项image-20230707013842646

稀疏性

①为什么sparsity比较重要?

image model的作用如下,即提供判断是否为我们想要的图像的依据。image-20230707013847785

②信号的稀疏性定义

定义:一个dense的信号在transform domain是稀疏的

举例:一个一维信号是稀疏的 ⇔ \Leftrightarrow 大多数相关系数为0

image-20230707013858597

特点:自然信号大都是满足sparsity属性的,例如自然图像的离散余弦变换image-20230707013903212

而噪声的离散余弦变换仍为噪声:

image-20230707013908933

磁共振重建领域的压缩感知方法发展如下:

image-20230707013915500

Model-based method: Transform learning for better sparsity

基本概念

在压缩感知中,我们给定了一个变换 Ψ \Psi Ψ(如DCT、小波等等),求得这个变换下最稀疏的 x x x。如下式:

image-20230707013920584

但是我们希望去学习这个变换,使得稀疏化更好,如下图:

image-20230707013924578

1.Transform learning Method 1: Sparsifying Transform Learning(STL)

image-20230707013929165

符号解释:

W \mathbf{W} W: 要学习的变换矩阵; b i \mathbf{b}_i bi: patch对应的sparse code

P i \mathbf{P}_i Pi: 图像中的第 i i i个patch;

λ 2 ∥ W ∥ F 2 − λ l o g ( d e t W ) \frac \lambda 2 \Vert \mathbf W\Vert^2_F - \lambda log(det \mathbf W) 2λWF2λlog(detW): 保证了 W , b \mathbf W,\mathbf b W,b不会变成一个trivial的解:为0,保证让 λ 2 ∥ W ∥ F 2 \frac \lambda 2 \Vert \mathbf W\Vert^2_F 2λWF2其尽量趋近于1

该方法的优缺点:

① 有闭式解

2.Unitary Transform Learning (UT)

image-20230707014024926

算法的具体实现过程:image-20230707013956805

3. Learning a UNIon of Transforms (UNITE)

image-20230707014030802

图像比较复杂的情况下,一个transformer是不够的。

4.Flipping and Rotation Invariant Sparsifying Transform (FRIST)

image-20230707014035838

5. Sparsifying TRansfOrm Learning and Low-Rankness (STROLLR)

有的时候不光使用sparsity,也可以构建Low-rank,将二者结合在一起约束。

image-20230707014040635

总结

image-20230707014044897

讨论

image-20230707014049220

注:不同的model在不同的MRI中有不同的效果,需要选择更适合的方法,达到最好的效果。image-20230707014053294

Deep Learning

一些主流模型

model的发展,即model灵活性的上升,模型具有更好的适应性:image-20230707014057478

下面我们主要关注两种方向:①unroll network(主流),将迭代过程变为多个network,如下图:

image-20230707014101790

image-20230707014105759

②另一种想法就是设计多层的transform:

image-20230707014109415

一些结果:

image-20230707014112740

image-20230707014117510

此外,自监督的方式也有一定的优势:我们希望模型不只是拘泥于数据集,而要一定程度上focus在图像本身,根据图像本身的一些全局和局部信息进行重建。

深度学习模型和传统模型的对比

image-20230707014121664


http://www.ppmy.cn/news/803687.html

相关文章

S3C2440实现dm9000网卡驱动程序移植

20150419 S3C2440实现dm9000网卡驱动程序移植 2015-04-19 Lover雪儿 首先附上厂家提供的完整的dm9000程序: 1 /*2 3 dm9ks.c: Version 2.08 2007/02/12 4 5 A Davicom DM9000/DM9010 ISA NIC fast Ethernet driver for Linux.6 7 This program is…

Android S5PV210 fimc驱动分析 - fimc_capture.c

转自:http://write.blog.csdn.net/postedit fimc_capture.c在FIMC系统中的位置,网上偷来的一幅图片 [cpp] view plain copy 43 static const struct v4l2_fmtdesc capture_fmts[] { 44 { 45 .index 0, 46 .type …

【构建ML驱动的应用程序】第 4 章 :获取初始数据集

🔎大家好,我是Sonhhxg_柒,希望你看完之后,能对你有所帮助,不足请指正!共同学习交流🔎 📝个人主页-Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…

HTML <map> 标签

实例 带有可点击区域的图像映射: <img src="planets.jpg" border="0" usemap="#planetmap" alt="Planets" /><map name="planetmap" id="planetmap"><area shape="circle" coords=&q…

Linux下SPI驱动分析

Linux下SPI总线驱动有通用接口&#xff0c;一般的SPI设备驱动使用这个驱动接口实现设备驱动。分析驱动最好是先了解核心代码&#xff0c;然后从具体设备分析入手&#xff0c;然后从下至上&#xff0c;了解整个框架&#xff0c;再从上到下分析&#xff0c;理解透彻。 以下分析内…

usb gadge驱动设计之我是zero

此处将以zero.c为例进行讲解。 第一次接触zero.c驱动的时候&#xff0c;是因为某项目需要&#xff0c;提供一种usb字符设备&#xff0c;希望能够通过字符设备打开&#xff0c;读取和发送文件。当时能想到的就是zero.c文件&#xff0c;本打算按照zero驱动的编写方式&#xff0c;…

基于MT7688 原厂SDK 使用SPI控制器驱动TFT屏幕ILI9225驱动器(spi接口)

以下是我的一个利用SPI控制器操作屏的一个操作实例 包含一个bpeer_tft.c 和一个bpeer_tft.h 这是我基于flash驱动剥离出来的spi控制器驱动 好的话,顶起来~~~~~~~~~~~~~~~~~~~ 下面是代码: bpeer_tft.c 1 /*2 * MTD SPI driver for ST M25Pxx flash chips3 *4 * Author:…

基于51单片机MAX6675 MAX1241的热电偶测温电机驱动系统proteus仿真 程序设计

硬件设计 &#xff08;末尾附文件&#xff09; 1&#xff0e;采用AT89C51单片机作为控制器&#xff0c;分别对温度采集、LCD显示。 2&#xff0e;温度测量模块采用K\热电偶与MAX6775相结合可实现冷端温度补偿高分辨率测量 3&#xff0e;显示用液晶显示屏显示实时温度值。 4. …