10、论文阅读:基于双阶对比损失解纠缠表示的无监督水下图像增强

server/2024/12/22 9:32:32/

Unsupervised Underwater Image Enhancement Based on Disentangled Representations via Double-Order Contrastive Loss

  • 前言
  • 引言
  • 方法介绍
    • 解耦框架
    • 多尺度生成器
    • 双阶对比损失
      • 双阶对比损失总结
    • 损失函数
  • 实验

前言

在水下环境中拍摄的图像通常会受到颜色失真、低对比度和视觉质量下降的影响。大多数现有的方法通过对合成图像或伪参考进行有监督的训练来解决水下图像增强(UIE)问题。然而,由于合成的配对数据与真实世界数据之间存在固有差异,这些数据无法准确复制真实情况,同时伪参考的数量和质量也有限,这在对真实水下图像进行测试时严重降低了模型的泛化能力和性能。

相比之下,无监督的方法不受配对数据的限制,更加稳健,并在实际应用中具有更大的潜力。

然而,现有的无监督方法无法有效约束网络来训练一个可以适应各种退化情况的模型
(即目前已有的无监督学习方法在训练网络时,没有足够的约束或指导,使得训练出来的模型无法灵活地适应不同类型的图像退化情况。换句话说,虽然这些方法不需要配对数据,但缺乏有效的约束使得模型在处理不同的图像退化(如颜色失真、对比度低等)时表现不佳,无法做到通用和稳健。这也表明,单靠现有的无监督方法,难以获得在多种环境下都能良好工作的模型。)

受人们常常从对立但互补的角度解决问题这一事实的启发,我们认为去除和生成水层之间存在隐式的合作关系因为它们可以相互约束并同时促进彼此

基于上述分析,本文提出了一种基于无监督的UIE新框架,该框架基于解耦表示共同学习水层的生成和去除。具体而言,我们提出了一个双向解耦网络

“双向”的核心在于网络不仅学习如何去除水层(从水下图像到地面图像的转换),还学习如何生成水层(从地面图像到伪水下图像的转换)。这两个方向的学习是相互约束和促进的,通过这种双向的解耦和生成-去除循环网络可以在两个任务上互相监督从而提升解耦效果和模型的稳健性。

其中每个单向网络包含一个由水层去除和生成组成的循环,并限制图像在一个循环后保持一致。同时,提出了一种新颖的双阶对比损失,通过利用一阶特征和二阶特征的联合隐式约束来提高解耦能力。大量实验结果表明,该模型在定性和定量评估中均优于现有的最先进方法,且具有较高的处理速度。消融实验的结果也证明了各个组件的有效性。

引言

在过去的几十年中,已经提出了许多方法来增强水下图像,包括传统方法(基于图像的方法和基于模型的方法)、“零样本”方法以及数据驱动的方法(基于监督和无监督的方法)

基于图像的方法旨在通过平衡颜色、提高对比度和锐化细节来校正每个像素。然而,由于缺乏模型约束,这些方法不足以恢复原始场景,并且在退化严重时可能会失效。

相比之下,基于模型的方法利用了一些先验知识,例如雾线先验和水下暗通道先验。然而,这些方法过于依赖先验的准确性,如果先验与真实情况有较大偏差,则增强方法将失效。

最近,“零样本”方法只使用单个输入图像,并基于一些手工设计的先验来训练一个小的特定图像网络。然而,“零样本”方法在测试时需要大量迭代,这在实际应用中效率较低。

此外,数据驱动算法利用大量数据来近似数据之间的映射,因此与传统方法相比,性能得到了极大的提升。不同于其他低级任务(如图像去雾和低光图像增强),在相同场景下获得非退化的水下图像是不现实的。因此,现有的基于监督的方法通常使用合成数据或伪参考作为训练的折中方法,但这些配对数据都有一些缺陷。对于合成数据,现有的基于物理模型的合成方法忽略了成像过程中许多因素,因此它们对水下多样退化的建模能力有限。因此,在合成数据集上训练的模型在真实场景中由于域偏移而表现出较差的泛化能力。对于伪参考数据,最常用的数据集是UIEB,由50名志愿者对12种增强方法进行评分而得到的,但这并不是真正的真实值。更重要的是,由于配对水下图像数量有限,训练用于多种退化的深度增强模型非常具有挑战性。

相比之下,基于无监督的方法不受配对数据的约束,并且越来越多地应用于各种视觉任务。然而,据我们所知,目前关于无监督的水下图像增强(UIE)的研究非常少。最相似的任务是地面上的无监督图像去雾(UID)。它们主要使用无退化的图像通过一个判别器来引导退化图像的增强,但水下图像的无退化版本是不可用的。此外,与雾霾图像相比,水下图像存在严重的颜色失真,因此直接将UID方法应用于UIE会产生严重的伪影和额外的色调。受到对立但互补的方法的启发,我们认为水层生成和去除是一个内在且有效的约束,它们应该紧密结合在一起。改进水层生成将有利于水层去除,反之亦然。

基于上述分析,我们提出了一种新的基于无监督的UIE框架,该框架基于解耦表示共同训练水层的生成和去除。特别地,我们提出了一个双向解耦网络,其中每个单向网络包含一个水层去除和


http://www.ppmy.cn/server/130519.html

相关文章

微软推出最新 Azure 虚拟机 ND H200 v5 系列

声明:本文翻译自微软全球官方博客,ND H200 v5 系列虚拟机目前只在 Microsoft Azure 海外版上发布。 随着人工智能领域的高速发展,企业对于可扩展和高性能基础设施的需求呈指数级增长。客户需要 Azure AI 基础设施来开发智能驱动的创新解决方案…

PHP:下拉列表,颜色展示

PHP展示下拉列表,选项设置为数据库存储颜色进制,colorname是颜色名称,color是颜色进制 一、表结构 produce_info_nav1_colorshow produce_info_nav1 二、核心代码 //查询对应默认颜色 $sql_selcolor "SELECT color FROM produce_i…

鼠标右键删除使用Visual Studio 打开(v)以及恢复【超详细】

鼠标右键删除使用Visual Studio 打开(v) 1. 引言2. 打开注册表3. 进入对应的注册表地址4. 右键删除 AnyCode 项5. 效果6. 备份注册表文件——恢复菜单 1. 引言 安装完 Visual Studio 鼠标右键总有 “使用Visual Studio 打开(v)”,让右键菜单…

2024中国电信天翼云社招TAS人才测评题型分析、真题解密、高分技巧、测评题库

测评项目名称:中国电信天翼云社会招聘人才测评 测评时间:2024年 测评内容: Talent5大五职业性格测评 iLogic言语推理测评(简版) iLogic数字推理测评(简版) iLogic逻辑推理测评(…

高效微调理解(prompt-tuning,p-tuning v1,p-tuning v2,lora)

高效微调(prompt-tuning,p-tuning v1,p-tuning v2,lora) 1.prompt-tuning: 例子理解;保持原本模型参数不变,通过训练提示词的参数调整prompt,使其与下游任务匹配。 例子…

Linux——cp-mv-rm命令

cp命令 复制文件 cp test01.txt test02.txt 复制文件夹 cp -r hsy01 hsy02 mv命令 移动文件/文件夹 rm命令 删除文件 rm test.txt 删除文件夹(目录 rm -r hsy01 通配符 * 匹配任意内容 注意* 位置 强制删除-f root超级管理员

IMS核心网和5GC的区别与联系

IMS核心网(IP多媒体子系统)和5GC(5G核心网)是现代电信网络中两个重要的核心部分,虽然它们都有着核心网络功能,但它们的目标、架构和功能上有显著的区别和一些联系。 1. IMS核心网简介 IMS(IP …

MySQL8.0性能优化方法有哪些

MySQL 8.0 的性能优化是一个多方面的过程,涉及硬件配置、数据库设计、查询优化、系统配置等多个层面。 1. 硬件和操作系统优化 使用 SSD:固态硬盘(SSD)比传统的机械硬盘(HDD)提供更快的 I/O 性能。足够的…