提示学习
2024/9/25 18:27:44
TCP: Textual-based Class-aware Prompt tuning for Visual-Language Model
文章汇总
存在的问题
原文：具有图像特定知识的图像条件提示符号在提升类嵌入分布方面的能力较差。
个人理解：单纯把"a photo of {class}"这种提示模版作为输入是不利于text encoder学习的
动机
在可学习的提示和每一类的文本知识之间建立…
Why Is Prompt Tuning for Vision-Language Models Robust to Noisy Labels?
文章汇总
本文的作者针对了提示学习的结构设计进行了分析，发现了一些规律：
1)固定的类名令牌为模型的优化提供了强正则化，减少了由噪声样本引起的梯度。
2)从多样化和通用的web数据中学习到的强大的预训练图像文本嵌入为图像分类提供了强大…
TCP: Textual-based Class-aware Prompt tuning for Visual-Language Model
文章汇总
存在的问题
原文：具有图像特定知识的图像条件提示符号在提升类嵌入分布方面的能力较差。
个人理解：单纯把"a photo of {class}"这种提示模版作为输入是不利于text encoder学习的
动机
在可学习的提示和每一类的文本知识之间建立…
TCP: Textual-based Class-aware Prompt tuning for Visual-Language Model
文章汇总
存在的问题
原文：具有图像特定知识的图像条件提示符号在提升类嵌入分布方面的能力较差。
个人理解：单纯把"a photo of {class}"这种提示模版作为输入是不利于text encoder学习的
动机
在可学习的提示和每一类的文本知识之间建立…
Progressive Multi-modal Conditional Prompt Tuning
文章汇总
动机 图像的重复消化有助于提高分类精度。ProMPT不是直接进行预测，而是多次重新访问原始图像以检查答案，逐步将预测从粗糙细化到精确。 希望达到的效果如下： 图7:通过迭代进化，ProMPT逐步将CLIP产生的错误结果纠正为正…
ProGrad:Prompt-aligned Gradient for Prompt Tuning
文章汇总
存在的问题
问题1 如图(a),(b)：CoOp随着训练的继续，泛化能力可能会下降，甚至低于zero-shot基线。 如图©,(d)：在shot比较小的情况，即数据量比较少的情况(1-shot,2-shot)，CoOp的性能可能还不…
Progressive Multi-modal Conditional Prompt Tuning
文章汇总
动机 图像的重复消化有助于提高分类精度。ProMPT不是直接进行预测，而是多次重新访问原始图像以检查答案，逐步将预测从粗糙细化到精确。 希望达到的效果如下： 图7:通过迭代进化，ProMPT逐步将CLIP产生的错误结果纠正为正…