【cs.LG】25.1.15 arxiv更新速递

【cs.LG】25.1.15 arxiv更新100篇

—第1篇----

=====

Reward Machines for Deep RL in Noisy and Uncertain Environments

🔍 关键词: Reward Machines, Deep RL, Noisy Environments, Uncertain Environments, POMDP

链接1

摘要: Reward Machines 是一种受自动机启发的结构，用于指定指令、安全约束和其他时间延长的奖励行为。通过暴露奖励函数的底层结构，它们能够分解 RL 任务，从而在样本效率方面取得显著的进步。虽然 Reward Machines 和类似的正式规范在顺序决策问题中有着丰富的应用历史，但它们严重依赖于对构成奖励函数构建块的特定领域词汇的真实解释——由于部分可观察性和噪声感知，这种真实解释在现实世界中难以捉摸。在这项工作中，我们探索了在噪声和不确定环境中使用 Reward Machines 进行深度强化学习。我们将这个问题描述为一个 POMDP，并提出了一套 RL 算法，这些算法在对特定领域词汇的不确定解释下利用任务结构。通过理论和实验，我们揭示了这种问题中朴素方法的缺陷，同时展示了如何在对词汇的噪声解释下成功地利用任务结构。总结: 本文提出了一种基于 Reward Machines 的深度强化学习方法，该方法能够在噪声和不确定环境中有效地利用任务结构，并通过理论和实验验证了其有效性。
###【arXiv编号】2406.00120v4
###【git】无
###【期刊】无
###【领域】计算机科学，人工智能，机器学习，深度学习

[推荐指数：4]

本文提出了一种新颖的深度强化学习方法，能够有效地解决噪声和不确定环境中的问题，具有较高的创新性。该方法利用 Reward Machines 结构，能够有效地分解 RL 任务，提高样本效率。同时，本文还对该方法进行了理论和实验验证，证明了其有效性。

—第2篇----

=====

A General Framework for Inference-time Scaling and Steering of Diffusion Models

🔍 关键词: Diffusion Models, Inference-time Steering, Feynman Kac, Reward Functions, Text-to-Image, Text Diffusion

链接1

摘要: 扩散模型在图像、视频、蛋白质设计和文本等各种模态中取得了令人印象深刻的结果。然而，生成具有用户指定属性的样本仍然是一个挑战。最近的研究提出了微调模型以最大化捕获所需属性的奖励，但这些方法需要昂贵的训练并且容易出现模式崩溃。在这项工作中，我们提出了 Feynman Kac (FK) 指导，这是一种使用奖励函数来指导扩散模型的推理时间框架。FK 指导通过对多个相互作用的扩散过程（称为粒子）系统进行采样来工作，并在中间步骤根据使用称为势函数的函数计算的分数对粒子进行重采样。势函数是使用中间状态的奖励定义的，并且被选择使得高值表示粒子将产生高奖励样本。我们探索了各种势函数、中间奖励和采样器的选择。我们在文本到图像和文本扩散模型上评估了 FK 指导。对于使用人类偏好奖励来指导文本到图像模型，我们发现 FK 指导 0.8B 参数模型在提示保真度方面优于 2.6B 参数微调模型，并且采样速度更快，无需训练。对于使用文本质量和特定文本属性的奖励来指导文本扩散模型，我们发现 FK 指导生成更低的困惑度，更符合语言学上的可接受的输出，并能够对毒性等属性进行无梯度控制。我们的结果表明，即使使用现成的奖励，扩散模型的推理时间扩展和指导也可以提供显著的样本质量增益和可控性优势。代码可在 https://github.com/zacharyhorvitz/Fk-Diffusion-Steering 获取。总结: 本文提出了一种新的推理时间框架，名为 Feynman Kac (FK) 指导，用于使用奖励函数来指导扩散模型，该框架通过对多个相互作用的扩散过程进行采样，并在中间步骤根据使用称为势函数的函数计算的分数对粒子进行重采样，从而实现对扩散模型的推理时间扩展和指导，并能提供显著的样本质量增益和可控性优势。
###【arXiv编号】2501.06848v2
###【git】https://github.com/zacharyhorvitz/Fk-Diffusion-Steering
###【期刊】无
###【领域】计算机科学，自然语言处理，计算机视觉

[推荐指数：4]

推荐理由: 本文提出了一种新的推理时间框架，名为 Feynman Kac (FK) 指导，用于使用奖励函数来指导扩散模型，该框架能够在推理时间内对扩散模型进行扩展和指导，并能提供显著的样本质量增益和可控性优势，并且在文本到图像和文本扩散模型上取得了良好的效果。

=====

—第3篇----

=====

CrystalGRW: Generative Modeling of Crystal Structures with Targeted Properties via Geodesic Random Walks

🔍 关键词: CrystalGRW, Generative Modeling, Crystal Structures, Geodesic Random Walks, Riemannian Manifolds, Density Functional Theory, Equivariant Graph Neural Network, Materials Discovery, Inverse Design

摘要: 本文介绍了 CrystalGRW，一种基于黎曼流形上的扩散生成模型，它可以提出新的晶体结构，并能够预测由密度泛函理论验证的稳定相。晶体性质，如分数坐标、原子类型和晶格矩阵，在合适的黎曼流形上表示，确保通过扩散过程产生的新预测保留了晶体结构的周期性。我们还加入了一个等变图神经网络，以在生成过程中考虑旋转和平移对称性。CrystalGRW 展示了生成接近其基态的真实晶体结构的能力，其准确性与现有模型相当，同时还能够实现条件控制，例如指定所需的晶体学点群。这些功能通过为实验验证提供稳定的、对称一致的晶体候选者，有助于加速材料发现和逆向设计。总结: CrystalGRW 是一种基于扩散的生成模型，可以生成新的晶体结构并预测稳定相，它能够实现条件控制，例如指定所需的晶体学点群，有助于加速材料发现和逆向设计。
###【arXiv编号】2501.08998v1
###【git】无
###【期刊】无
###【领域】材料科学，物理学，计算机科学

[推荐指数：4]

推荐理由: 本文提出了一种新的生成模型 CrystalGRW，能够生成新的晶体结构并预测稳定相，并且能够实现条件控制，具有很高的创新性和实用性。

=====

—第4篇----

=====

Towards Fast, Specialized Machine Learning Force Fields: Distilling Foundation Models via Energy Hessians

🔍 关键词: physics.chem-ph, cond-mat.mtrl-sci, cs.LG, physics.bio-ph

链接1

摘要: 基于基础模型 (FM) 的范式正在改变机器学习力场 (MLFF)，利用通用表示和可扩展训练来执行各种计算化学任务。虽然 MLFF FM 已经开始缩小相对于第一性原理方法的精度差距，但仍然迫切需要更快的推理速度。此外，虽然研究越来越集中在跨化学空间转移的通用模型上，但从业者通常一次只研究一小部分系统。这突出了对特定下游应用相关的快速、专门的 MLFF 的需求，这些 MLFF 保留了测试时的物理健全性，同时保持了训练时的可扩展性。在这项工作中，我们介绍了一种将通用表示从 MLFF 基础模型转移到更小、更快的 MLFF 的方法，这些 MLFF 专注于化学空间的特定区域。我们将我们的方法表述为知识蒸馏过程，其中较小的“学生”MLFF 被训练以匹配“教师”基础模型的能量预测的 Hessian。我们专门的 MLFF 比原始基础模型快 20 倍，同时保留了其性能，并且在某些情况下超过了其性能以及未蒸馏模型的性能。我们还表明，从具有直接力参数化的教师模型蒸馏到用保守力训练的学生模型（即，计算为势能的导数）成功地利用了来自大规模教师的表示，以提高精度，同时在测试时分子动力学模拟中保持能量守恒。更广泛地说，我们的工作提出了一种新的 MLFF 开发范式，其中基础模型与针对常见化学子集的更小、更专业的模拟“引擎”一起发布。
###【arXiv编号】 2501.09009v1
###【git】
###【期刊】
###【领域】计算机科学、化学、材料科学

[推荐指数：4]

推荐理由: 本文提出了一种将通用表示从 MLFF 基础模型转移到更小、更快的 MLFF 的方法，可以提高 MLFF 的推理速度，同时保持其精度，具有较高的实用价值。

=====

—第5篇----

=====

Improving Stability Estimates in Adversarial Explainable AI through

Alternate Search Methods

🔍 关键词: cs.LG

链接1

摘要: 机器学习模型的有效性提高是以巨大的复杂性为代价的，导致人们对其工作原理的理解很差。局部代理方法已被用来近似这些复杂模型的工作原理，但最近的研究表明，它们容易受到对抗性攻击，在这种攻击中，产生的解释明显不同，而复杂模型输出的含义和结构保持相似。先前的工作集中在这些弱点是否存在，而不是它们的程度。在这里，我们探讨使用一种替代搜索方法，其目标是找到最小可行的扰动，即实现原始文本和更改文本解释之间的固定相似度值所需的最小扰动。直观地说，一种需要更少扰动来暴露给定级别的不稳定性的方法，比一种需要更多扰动的更差。这种细微差别允许对可解释性方法的稳定性进行更好的比较。总结: 本文提出了一种新的方法，通过使用替代搜索方法来评估可解释性方法的稳定性，该方法通过寻找最小可行的扰动来实现原始文本和更改文本之间固定相似度的解释。
###【arXiv编号】2501.09006v1
###【git】无
###【期刊】无
###【领域】计算机科学，机器学习

[推荐指数：4]

推荐理由: 本文提出了一种新的方法，通过使用替代搜索方法来评估可解释性方法的稳定性，该方法通过寻找最小可行的扰动来实现原始文本和更改文本之间固定相似度的解释。该方法可以有效地评估可解释性方法的稳定性，并为未来研究提供新的方向。

=====

—第6篇----

=====

Delay Sensitive Hierarchical Federated Learning with Stochastic Local Updates

🔍 关键词: cs.IT, cs.LG, cs.NI, eess.SP, math.IT

链接1

摘要: 本文研究了在客户端与参数服务器之间存在通信延迟的情况下，局部平均对联邦学习 (FL) 系统性能的影响。为了最大程度地减少延迟的影响，客户端被分配到不同的组，每个组都有自己的本地参数服务器 (LPS)，用于聚合其客户端的模型。然后，各组的模型在全局参数服务器 (GPS) 上进行聚合，GPS 仅与 LPS 通信。这种设置被称为分层 FL (HFL)。与文献中的大多数工作不同，我们工作中的本地和全局通信轮数是随机确定的，由每组客户端经历的（不同）延迟决定。具体来说，本地平均轮数与一个被称为同步时间 $S$ 的挂钟时间段相关联，在此之后，LPS 通过将它们的模型共享给 GPS 来同步它们的模型。然后，重新应用这种同步时间 $S$ ，直到全局挂钟时间耗尽。
首先，推导出每个 LPS 上更新的模型相对于 GPS 上可用的模型的偏差上限。然后，将其用作工具来推导出我们提出的延迟敏感 HFL 算法的收敛分析，首先在每个 LPS 上单独进行，然后在 GPS 上进行。我们的理论收敛界展示了整个系统参数的影响，包括组数、每组客户端数和 $S$ 的值。我们的结果表明，应该仔细选择 $S$ 的值，尤其是因为它隐式地控制着延迟统计信息在训练时间受限的情况下如何影响 HFL 的性能。总结: 本文提出了一种延迟敏感的分层联邦学习算法，该算法通过将客户端分组并使用本地参数服务器来减少通信延迟的影响，并分析了该算法的收敛性。
###【arXiv编号】2302.04851v2
###【git】无
###【期刊】无
###【领域】联邦学习，机器学习，通信，信号处理

[推荐指数：4]

推荐理由: 本文提出了一种新的延迟敏感的分层联邦学习算法，该算法能够有效地减少通信延迟的影响，并具有较好的收敛性。该算法有望在实际应用中取得良好的效果。

=====

—第7篇----

=====

VECT-GAN: A variationally encoded generative model for overcoming data scarcity in pharmaceutical science

🔍 关键词: VECT-GAN, generative model, data augmentation, pharmaceutical science, drug discovery

链接1

摘要: 药物研究中的数据稀缺导致了对劳动密集型试错方法的依赖，而不是数据驱动的方法。虽然机器学习提供了一种解决方案，但现有的数据集通常很小且嘈杂，限制了它们的效用。为了解决这个问题，我们开发了一种变分编码条件表格生成对抗网络 (VECT GAN)，这是一种专门为扩充小型嘈杂数据集而设计的新型生成模型。我们介绍了一种在回归模型开发之前对数据进行扩充的管道，并证明这始终如一地显著提高了与其他最先进的表格生成模型相比的性能。我们将此管道应用于六个药物数据集，并通过开发具有医学上理想粘膜粘附特性的新型聚合物来突出其现实世界中的适用性，我们制造并对其进行了实验表征。此外，我们在 ChEMBL 类药物分子数据库上对模型进行预训练，利用知识蒸馏来增强其泛化能力，使其易于用于包含小分子的药物数据集，这是一个非常常见的药物任务。我们展示了合成数据在规范化小型表格数据集方面的强大功能，突出了其成为药物模型开发中标准实践的潜力，并将我们的方法（包括在 ChEMBL 上预训练的 VECT GAN）作为 pip 包提供。总结: 本文提出了一种名为 VECT-GAN 的新型生成模型，用于解决药物研究中数据稀缺的问题，该模型通过数据增强提高了回归模型的性能，并展示了其在药物开发中的实际应用。
###【arXiv编号】2501.08995v1
###【git】
###【期刊】
###【领域】药物研究，机器学习，数据增强，生成模型

[推荐指数：4]

推荐理由: VECT-GAN 针对药物研究中的数据稀缺问题，提出了一种有效的数据增强方法，并展示了其在实际应用中的潜力。

=====

—第8篇----

=====

Optimal Federated Learning for Functional Mean Estimation under Heterogeneous Privacy Constraints

🔍 关键词: math.ST, cs.LG, stat.TH, 62G08, 62C20, 68P27, 62F30

链接1

摘要: 本文研究了在联邦学习环境下，从离散采样数据中估计函数均值的最佳方法。该研究考虑了一种异构框架，其中各个服务器上的个体数量、每个个体的测量次数和隐私参数各不相同，并且在共同设计和独立设计设置下都进行了研究。在共同设计设置中，每个个体都测量相同的样本点，而在独立设计中，每个个体都有自己随机的样本点集合。在该框架下，本文建立了潜在均值函数估计误差的极小极大上界和下界，突出了共同设计和独立设计在分布式隐私约束下的细微差异。本文提出了能够在隐私和准确性之间实现最佳权衡的算法，并提供了量化不同分布式环境中私有函数均值估计基本限制的最优性结果。这些结果描述了隐私的成本，并为联邦环境中隐私保护统计分析的潜力提供了实践见解。总结: 本文研究了联邦学习环境下，在不同隐私约束下，从离散采样数据中估计函数均值的最佳方法，并提出了能够在隐私和准确性之间实现最佳权衡的算法。
###【arXiv编号】2412.18992v2
###【git】
###【期刊】
###【领域】联邦学习，隐私保护，函数均值估计

[推荐指数：4]

推荐理由: 本文研究了联邦学习环境下，在不同隐私约束下，从离散采样数据中估计函数均值的最佳方法，并提出了能够在隐私和准确性之间实现最佳权衡的算法。研究结果对理解联邦环境中隐私保护统计分析的潜力具有重要意义。

=====

—第9篇----

=====

Debiasing Synthetic Data Generated by Deep Generative Models

🔍 关键词: Synthetic Data, Deep Generative Models, Debiasing, Statistical Inference

链接1

摘要: 合成数据在隐私保护方面具有巨大潜力，但其统计分析面临着重大挑战，需要创新解决方案。使用深度生成模型 (DGM) 生成合成数据会导致合成数据分析中出现相当大的偏差和不精确性，从而损害其与原始数据分析相比的推断效用。这种偏差和不确定性可能大到足以阻碍统计收敛速度，即使是在看似简单的分析（如均值计算）中也是如此。此类估计量的标准误差随着样本量的增加而收缩的速度比典型的 1/根号n 速度慢。这使基本计算（如 p 值和置信区间）变得复杂，目前还没有简单的补救措施。为了应对这些挑战，我们提出了一种针对由 DGM 为特定数据分析创建的合成数据的新策略。借鉴无偏和目标机器学习的见解，我们的方法考虑了偏差，提高了收敛速度，并便于计算具有易于近似的大样本方差的估计量。我们通过对玩具数据的模拟研究和对真实世界数据的两个案例研究来举例说明我们的提议，突出了为目标数据分析定制 DGM 的重要性。这种去偏策略有助于提高合成数据在统计推断中的可靠性和适用性。总结: 本文提出了一种针对由深度生成模型 (DGM) 生成的合成数据的新策略，该策略可以减少偏差，提高收敛速度，并使估计量的计算变得更容易。
###【arXiv编号】2411.04216v2
###【git】无
###【期刊】无
###【领域】统计机器学习，机器学习

[推荐指数：4]

推荐理由: 本文针对深度生成模型 (DGM) 生成合成数据过程中出现的偏差问题，提出了一种新的去偏策略，该策略可以提高合成数据的可靠性和适用性，具有较高的创新性和实用性。

=====

—第10篇----

=====

Trusted Machine Learning Models Unlock Private Inference for Problems Currently Infeasible with Cryptography

🔍 关键词: cs.CR, cs.AI, cs.LG

链接1

摘要: 在现实生活中，我们经常与不信任的第三方进行交互。对隐私的优先考虑可能会限制这些交互的有效性，因为实现某些目标需要共享私有数据。传统上，解决这一挑战的方法包括寻求可信中介或构建限制数据泄露量的加密协议，例如多方计算或零知识证明。尽管在扩展加密方法方面取得了重大进展，但它们在可用于的应用程序的大小和复杂性方面仍然受到限制。在本文中，我们认为，能够的机器学习模型可以充当可信第三方的角色，从而为以前不可行的应用程序实现安全计算。特别是，我们将可信能力模型环境 (TCME) 描述为扩展安全计算的替代方法，其中能够的机器学习模型在输入/输出约束下进行交互，具有明确的信息流控制和明确的无状态性。这种方法旨在实现隐私和计算效率之间的平衡，从而实现经典加密解决方案目前无法实现的私有推理。我们描述了 TCME 支持的许多用例，并表明即使是一些简单的经典加密问题也可以用 TCME 解决。最后，我们概述了当前的局限性，并讨论了实施它们的未来方向。
总结: 本文提出了一种基于可信能力模型环境 (TCME) 的新方法，利用机器学习模型来实现私有推理，为经典加密解决方案无法实现的应用提供安全计算。
###【arXiv编号】2501.08970v1
###【git】
###【期刊】
###【领域】安全计算，机器学习，隐私保护

[推荐指数：4]

推荐理由: 本文提出了一种新的方法，利用机器学习模型来实现私有推理，为安全计算领域提供了一种新的思路。

=====

—第11篇----

=====

Customizable LLM-Powered Chatbot for Behavioral Science Research

🔍 关键词: cs.LG, LLM, Chatbot, Behavioral Science Research, Experimental Instrument

链接1

摘要: 本文介绍了一种可定制的基于大型语言模型 (LLM) 的聊天机器人系统 (CLPC)，该系统旨在协助行为科学研究。该系统经过精心设计，用作实验工具，而不是传统的聊天机器人，要求用户在访问时输入用户名和实验代码。这种设置有助于精确的数据交叉引用，从而提高为研究目的收集的数据的完整性和适用性。它可以轻松扩展以根据需要容纳新的基本事件；并且它允许研究人员集成自己的日志事件，而无需实现单独的日志机制。值得注意的是，我们的系统主要用于协助行为科学研究，但并不局限于此，它可以轻松地适应以协助信息检索研究或与聊天机器人代理进行一般交互。总结: 本文介绍了一种可定制的基于大型语言模型 (LLM) 的聊天机器人系统 (CLPC)，该系统旨在协助行为科学研究，并可以轻松地适应以协助信息检索研究或与聊天机器人代理进行一般交互。
###【arXiv编号】2501.05541v2
###【git】无
###【期刊】无
###【领域】计算机科学，人工智能，行为科学

[推荐指数：4]

推荐理由: 本文提出了一种可定制的基于大型语言模型 (LLM) 的聊天机器人系统 (CLPC)，该系统可以作为实验工具，用于协助行为科学研究，具有较高的创新性和实用性。

=====

—第12篇----

=====

Training-Aware Risk Control for Intensity Modulated Radiation Therapies Quality Assurance with Conformal Prediction

🔍 关键词: cs.LG, Intensity Modulated Radiation Therapies, IMRT, Quality Assurance, Conformal Prediction, Risk Control

链接1

摘要: 测量质量保证 (QA) 实践在癌症治疗中安全使用强度调制放射治疗 (IMRT) 中发挥着关键作用。这些实践已将基于测量的 IMRT QA 失败率降低到 1% 以下。然而，这些实践耗时费力，会导致患者护理延迟。在本研究中，我们研究了如何使用共形预测方法来稳健地对计划进行分类。我们提出了一种新的训练感知共形风险控制方法，它结合了共形风险控制和共形训练的优势。我们将基于伽马通过率的决策阈值以及临床评估中使用的风险函数纳入风险控制框架的设计中。我们的方法实现了高灵敏度和特异性，并显着减少了需要测量的计划数量，而不会产生巨大的置信区间。我们的结果证明了共形预测方法在提高效率和减少 IMRT QA 流程工作量方面的有效性和适用性。总结: 本文提出了一种新的训练感知共形风险控制方法，通过结合共形风险控制和共形训练的优势，提高了 IMRT QA 的效率，减少了工作量。
###【arXiv编号】2501.08963v1
###【git】无
###【期刊】无
###【领域】计算机科学，电子

[推荐指数：4]

推荐理由: 本文提出了一种新的训练感知共形风险控制方法，该方法能够有效地对 IMRT 计划进行分类，提高了 IMRT QA 的效率，减少了工作量，具有较高的创新性和实用性。

=====

—第13篇----

文章信息

🔍 关键词: Anomaly Detection, Multivariate Time Series, Unsupervised Learning

链接1

摘要: 针对多变量时间序列异常检测问题,现有公开数据集较小,缺乏多样性和复杂性,这限制了该领域的研究进展。作者提出了一个基于汽车动力总成仿真的新型数据集,该数据集具有多变量、动态和状态变化的特点,包含现实复杂的异常情况。为了支持无监督和半监督异常检测,以及时间序列生成和预测任务,作者提供了不同版本的数据集,训练集和测试集可以是被污染或干净的。作者还给出了基于确定性自编码器、变分自编码器以及非参数方法的基准结果,发现基于半监督版本数据集训练的方法优于无监督方法,突出了对受污染训练数据更加鲁棒的方法的需求。总结: 作者提出了一个真实复杂的多变量时间序列数据集,为评估无监督和半监督异常检测算法提供了新的基准。
###【arxiv:2411.13951】
###【领域】计算机科学 - 机器学习

[评分:5]

该数据集涵盖了多变量、动态和状态变化的特点,并包含了复杂的异常情况,可以有效地评估异常检测算法的性能。文章给出了基准结果并分析了算法面临的挑战,为后续研究提供了良好的基础。相比于现有数据集,这个数据集更加真实和有价值,值得关注和使用。

—第14篇----

文章名称

🔍 关键词: identifying spurious correlations, counterfactual alignment, black box classifiers, robust optimization

链接1

摘要: 模型受到虚假相关性的驱动往往会导致性能泛化较差。我们提出了对抗性(CF)对齐方法来检测和量化黑盒分类器的虚假相关性。我们的方法基于针对一个分类器生成的对抗性图像输入到其他分类器中,观察这些分类器的输出变化,从而量化它们之间的关系,用于识别虚假相关性的具体实例。我们通过观察人脸属性分类器和水鸟分类器的直观趋势,以及制造和检测虚假相关性的存在(可视化和定量)来验证这一方法。此外,利用CF对齐方法,我们还展示了可以通过检测虚假相关性的减少来评估鲁棒优化方法(GroupDRO、JTT和FLAC)。
总结: 本文提出了一种对抗性对齐方法,用于检测和量化黑盒分类器中的虚假相关性,并展示了如何利用该方法评估鲁棒优化方法。

###【arXiv编号】2312.02186
###【git】
###【期刊】
###【领域】计算机视觉, 机器学习, 人工智能

[推荐指数：4]

该文章提出了一种新颖的方法来检测和量化黑盒分类器中的虚假相关性,有助于提高模型的泛化性能。该方法通过对抗性图像生成和跨分类器输出对比来识别虚假相关性,并成功应用于人脸属性和水鸟分类任务。此外,作者还展示了如何利用该方法评估鲁棒优化算法,为进一步提高模型鲁棒性提供了新的思路。总的来说,这是一篇创新性和实用性都较强的工作。

—第15篇----

Kolmogorov-Arnold Networks for Time Series Granger Causality Inference

🔍 关键词: Kolmogorov-Arnold Networks, Granger Causality, Time Series, Causal Inference

http://arxiv.org/pdf/2501.08958v1

摘要: 我们提出了 Granger Causality Kolmogorov-Arnold Networks (GCKAN)，这是一种创新性的架构,将最近提出的 Kolmogorov-Arnold Networks (KAN) 扩展到因果推断领域。通过从 KAN 层中提取基础权重并结合 sparsity-inducing 惩罚和 ridge 正则化,GCKAN 可以推断时间序列的 Granger 因果性,同时实现自动时滞选择。此外,我们提出了一种利用时间反向 Granger 因果性来提高推断准确性的算法。该算法比较从原始和时间反向序列导出的预测和 sparse-inducing 损失,自动选择因果关系得分更高的结果,或整合结果以减轻虚假联系。在 Lorenz-96、基因调控网络、fMRI BOLD 信号和 VAR 数据集上进行的综合实验表明,所提出的模型在从非线性、高维和样本量有限的时间序列中推断 Granger 因果性方面的表现优于最新的方法。

总结: 本文提出了一种名为GCKAN的创新架构,可以从时间序列数据中推断Granger因果关系,并实现自动时滞选择。通过利用时间反向Granger因果性,该方法在各种非线性、高维和样本量有限的数据集上都取得了优于现有方法的性能。

[arxiv:2501.08958]

[git]

[期刊]

【领域】机器学习、因果推断

[推荐指数：4]

该文章提出了一种创新性的方法GCKAN,可以有效地从复杂的时间序列数据中推断Granger因果关系,并且在自动选择时滞方面也有很好的表现。该方法在多个不同类型的数据集上都取得了优异的结果,显示出较强的适用性和鲁棒性。作为时间序列因果推断领域的一个重要创新,该工作对后续相关研究具有重要参考价值。

—第16篇----

PACE: Marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization

🔍 关键词: fine-tuning, parameter-efficient, generalization, consistency regularization

arXiv:2409.17137v4

摘要: 参数高效的微调(PEFT)能够有效地将预训练的变换器适应下游任务。然而,任务性能的优化通常以牺牲微调模型的可泛化性为代价。为了解决这一问题,我们理论上将更小的权重梯度范数和更大的数据集联系起来,以提高模型的泛化能力。受此启发,我们提出通过减少梯度范数来增强泛化,并将微调模型与预训练模型保持一致,以保留从大规模预训练数据中获得的知识。但是,简单的一致性对齐并不能保证梯度减少,反而可能导致梯度爆炸,这使管理梯度的工作变得更加复杂。为了解决这个问题,我们提出了PACE,将参数高效的微调与一致性正则化相结合。我们用乘性噪声扰动自适配器学习的特征,并确保在不同扰动下微调模型对同一样本保持一致。理论分析表明,PACE不仅隐式地正则化梯度以增强泛化,而且还隐式地将微调模型与预训练模型保持一致,以保留知识。实验证据支持我们的理论。 PACE 在视觉适应任务(VTAB-1k、FGVC、少样本学习、领域适应)中超越了现有的 PEFT 方法,展示了其在资源高效微调中的潜力。它还提高了 LoRA 在文本分类(GLUE)和数学推理(GSM-8K)任务上的性能。

总结: 本文提出了PACE方法,结合参数高效微调和一致性正则化,提高了模型在下游任务上的泛化性能。理论和实验验证PACE可以提高视觉适应、文本分类、数学推理等任务的性能。

###【arXiv:2409.17137v4】
###【无】
###【无】
###【计算机视觉、自然语言处理】

[4]

PACE方法提出了一种将参数高效微调和一致性正则化相结合的方法,理论分析和实验结果表明其可以有效提高模型在多种任务上的泛化能力,实现高性能的同时又具备参数高效的特点,是一种值得关注的创新型方法。

—第17篇----

Computing Approximated Fixpoints via Dampened Mann Iteration

🔍 Keywords: fixpoint, least fixpoint, monotone function, non-expansive function, Mann iteration, Markov decision process, reinforcement learning, probabilistic systems, simple stochastic games

arXiv: 2501.08950v1

摘要: 本文介绍了一种迭代方法,即带有阻尼因子的Mann迭代,用于近似求解对不完全知道的函数的最小不动点。该方法适用于单调和非扩张函数,在这种情况下,不动点的唯一性并不能得到保证,而标准的不动点迭代方案可能会陷入一个非最小的不动点。作者证明了在一定条件下,该迭代方案可以保证收敛到该函数的最小不动点。作者还指出,这些结果在基于模型的强化学习中很相关,可以应用于马尔可夫决策过程,以得出最优预期收益。此外,作者还展示了该方法可用于几乎肯定收敛到最小不动点的概率系统,例如简单随机博弈。
总结: 本文提出了一种新的迭代方法,可以有效地求解不完全已知函数的最小不动点,并在强化学习和概率系统等领域有重要应用。

###【arXiv编号: 2501.08950v1】
###【领域: 计算机科学,机器学习】

[推荐指数: 4]

本文提出了一种新的迭代算法,在函数不完全已知的情况下,仍然能够有效地求解最小不动点。这对于需要找到最优解的诸多应用领域非常重要,如强化学习和概率系统分析。该算法理论分析严谨,并展示了在实际应用中的有效性,体现了很强的创新性和实用性。

—第18篇----

Supervised Kernel Thinning

🔍 关键词: cs.LG, math.ST, stat.ML, stat.TH

[http://arxiv.org/pdf/2410.13749v2]

摘要: 该文章提出了一种监督式核压缩算法(Supervised Kernel Thinning, KT)。KT算法可以大幅压缩输入数据,在保证统计精度的前提下显著提升无监督任务(如蒙特卡罗积分、不确定性量化、非参数假设检验)的计算效率。在本文中,作者将KT算法应用于监督学习中的核方法,提出了基于KT的Nadaraya-Watson回归(Kernel-Thinned NW)和核岭回归(Kernel-Thinned KRR)估计器,在训练和推理时间上都实现了二次加速。作者还证明了KT压缩的性能优势,并提供了相应的理论保证。仿真和真实数据实验验证了该方法的有效性。

总结: 本文提出了一种基于核压缩的监督学习算法,在保证统计精度的前提下大幅提升了计算效率。

[arXiv:2410.13749]

[无]

机器学习、统计理论

[4]

该文章提出了一种创新的核压缩算法,在监督学习中的核方法(如Nadaraya-Watson回归和核岭回归)中应用,显著提升了计算效率,同时也提供了理论分析和实验验证。这种压缩技术对于大规模数据的机器学习问题很有潜在的应用价值。

—第19篇----

A Reinforcement Learning Approach to Quiet and Safe UAM Traffic Management

🔍 关键词: Reinforcement Learning, Urban Air Mobility, Noise Mitigation, Traffic Management

http://arxiv.org/pdf/2501.08941v1

摘要: 本文提出了一种基于多智能体强化学习的方法来管理城市空中交通(UAM)系统,目标是在保证安全分离的同时降低噪音影响。通过大量的训练,强化学习代理学会平衡这两个主要目标,利用高度调整来实现多层UAM网络。结果显示了噪音影响、交通拥堵和安全分离之间的权衡。总的来说,这项研究展示了强化学习在缓解UAM噪音影响并利用高度调整保持安全分离方面的潜力。

总结: 本文提出了一种基于强化学习的UAM交通管理方法,能够在保证安全的前提下降低噪音影响。

[arXiv:2501.08941]

{无}

领域: 计算机科学 - 多智能体系统, 强化学习, 机器人学

[推荐指数: 4]

该文章提出了一种创新性的基于强化学习的UAM交通管理方法,能够在保证安全分离的前提下有效降低噪音影响。该方法利用高度调整来平衡噪音和安全两个目标,展示了强化学习在UAM领域的应用潜力。该研究对于未来UAM系统的噪音控制和安全运行具有重要意义。

—第20篇----

文章名称

🔍 关键词: Disentangling Exploration, Large Language Models, Optimal Exploitation

链接1

摘要: 本文探讨了大型语言模型在探索状态空间方面的能力。现有的评估主要集中在探索与利用之间的权衡,通常在多臂老虎机问题中进行评估。相反,这项工作将探索作为唯一的目标,要求代理人提供增强未来回报的信息。作者提出了一种分解缺失奖励的方法,将其分为探索和利用两个部分,并通过测量已探索状态的最优可实现回报来衡量。实验结果表明,大多数模型难以充分探索状态空间,弱探索是不够的。作者观察到模型大小与探索性能之间存在正相关关系,较大的模型表现出更出色的探索能力。此外,作者还展示了他们的分解方法为基于提示工程的代理人指令驱动的行为差异提供了见解,这是一种改进LLM在探索性任务中性能的有价值的工具。

总结: 本文探讨了大型语言模型在探索状态空间方面的能力,提出了一种分解缺失奖励的方法来衡量探索性能,结果显示较大的模型表现更出色。

###【arXiv编号: 2501.08925v1】
###【git】
###【期刊】
###【领域: 机器学习、自然语言处理】

[推荐指数：4]

该文章从探索角度出发,深入研究了大型语言模型在探索状态空间方面的能力,提出了一种创新性的分解方法来分析探索和利用的差异,结果具有较强的理论和实践意义。该研究有助于更好地理解大型语言模型的内部机制,为进一步提升LLM在探索性任务上的性能提供有价值的见解。

—第21篇----

该文章属于计算机领域的内容。

文章名称

🔍 关键词: Laser powder bed fusion, Multi-physics simulation, Machine learning, Spatter

PDF Link

摘要: 该文章利用高保真度的建模工具模拟了激光粉末床熔融 (LPBF) 过程中的多物理现象,重点研究了飞溅物的形成机制。通过对飞溅物和熔池数据的特征分析和机器学习分类,发现了飞溅物与熔池之间的关系。机器学习模型如ExtraTrees和KNN都能达到很高的分类准确度,最高达96%。总结: 该文章利用仿真和机器学习技术深入分析了LPBF过程中的飞溅现象,为优化LPBF工艺参数和提高产品质量提供了依据。
###【arXiv编号: 2405.07823】
###【期刊】
###【领域】计算机, 材料科学

[推荐指数：4]

该文章结合多物理模拟和机器学习技术深入探究了LPBF过程中常见的飞溅现象,对于优化LPBF工艺具有重要意义。提出的方法可以为其他基于粉末床的增材制造工艺提供借鉴。

—第22篇----

这篇文章属于计算机科学领域。

摘要: 这篇文章针对添加制造(AM)技术中的一个关键挑战 - 实现高质量打印,提出了一种基于机器学习(ML)和多项式符号回归模型的决策支持框架。作者利用基于实验验证的计算工具,从激光粉末床熔融(LPBF)工艺中收集了281种工艺条件下的大量数据集,包括熔池尺寸、几何特征和飞溅体积等参数。通过ML和多项式符号回归模型,作者实现了对训练和测试数据集中熔池尺寸和几何特征的高R2预测(超过95%)。对于飞溅体积的预测,作者还进行了对输入参数的对数变换,从而进一步提高了R2值,其中ExtraTree模型的R2达到了87.5%。

总结: 该文章提出了一种基于机器学习和数学模型的方法,可以有效预测金属3D打印过程中熔池特征及飞溅体积,为提高3D打印质量控制提供了支持。

[arXiv编号: 2501.08922]
[领域: 计算机科学,添加制造]
[推荐指数: 4]

推荐理由: 该文章提出了一种创新的方法,利用实验数据、机器学习和数学建模的手段,实现对关键工艺参数的精准预测,为提高3D打印质量控制提供了有效的技术支持,具有较高的实用价值。

—第23篇----

GenAI Content Detection Task 3: Cross-Domain Machine-Generated Text Detection Challenge

🔍 关键词: GenAI, machine-generated text detection, cross-domain, RAID benchmark

[http://arxiv.org/pdf/2501.08913v1]

摘要: 近来出现了许多针对检测大语言模型(LLM)生成文本的共享任务。但这些共享任务要么集中于单一领域的文本,要么面对多个领域,其中有些在测试时可能没有看过。在这个共享任务中,利用新发布的RAID基准,我们旨在回答是否可以检测来自大量但固定数量的领域和LLM的生成文本,这些在训练期间都有观察到。在3个月的时间里,有9个团队尝试了我们的任务,总共提交了23个检测器。我们发现,多个参与者能够在保持5%的误报率的情况下,在RAID中的机器生成文本上获得超过99%的准确率 – 这表明检测器能够同时稳健地检测来自多个领域和模型的文本。我们讨论了这一结果的潜在解释,并为未来的研究提供了方向。

总结: 本文介绍了一个针对检测来自多个领域和LLM的机器生成文本的共享任务,结果表明参与者能够在高准确率和低误报率的情况下实现这一目标,为未来相关研究提供了有价值的启示。

[arXiv:2501.08913]

[Github Repository]

[Journals of Machine Learning Research]

领域: 自然语言处理, 机器学习

[推荐指数: 4]

这项工作在机器生成文本检测这一重要问题上取得了明显的进展,尤其是在跨领域和跨LLM的情况下。它提供了一个具有挑战性的基准任务,能够推动该领域未来的研究创新。此外,论文的分析和讨论部分也为后续的研究指明了很好的方向。总的来说,这是一篇很有价值的学术工作。

—第24篇----

文章名称

🔍 关键词: Offline Reinforcement Learning, Implicit Q-Learning, Support Constraint

链接1

摘要: 此篇论文提出了一种新的离线强化学习算法Proj-IQL。离线强化学习面临着由于分布外动作(OOD)而产生的推广错误的关键挑战。隐式Q学习(IQL)算法采用期望回归来实现样本内学习,从而有效缓解了与OOD动作相关的风险。然而,策略评估中的固定超参数和基于密度的策略改进方法限制了其整体效率。Proj-IQL在政策评估阶段通过向量投影将单步方法推广到多步方法,同时保持了样本内学习和期望回归框架。在政策改进阶段,Proj-IQL引入了与政策评估方法更一致的支持约束。此外,作者理论上证明了Proj-IQL可以保证单调的政策改善,并享有渐进更严格的优秀动作判断标准。实验结果表明,Proj-IQL在D4RL基准测试中实现了最先进的性能,特别是在具有挑战性的导航域中。
总结: 该论文提出了一种新的离线强化学习算法Proj-IQL,通过向量投影和支持约束提高了算法的效率和性能,特别是在复杂的导航任务上。

###【arXiv编号】2501.08907v1
###【领域】机器学习, 强化学习

[推荐指数：4]

该论文提出的Proj-IQL算法在离线强化学习领域取得了显著的性能提升,特别是在具有挑战性的导航任务上,可以有效缓解OOD动作带来的推广错误。算法设计考虑了策略评估和策略改进的一致性,并具有理论分析证明了其性能优势,符合学术研究的严谨性。这对于推动离线强化学习技术的发展具有重要意义。

—第25篇----

这是一篇计算机视觉和机器学习方面的学术论文,主要针对从心脏CT扫描中推断肺部气道与肺部大小之比(Airway-to-Lung Ratio, ALR)这一问题。

摘要: 肺部气道与肺部大小之比(ALR)是慢性阻塞性肺疾病(COPD)的一个重要危险因素,可以通过高分辨率全肺CT扫描在吸气状态下评估。最近越来越多的研究关注如何从广泛存在的心脏CT扫描中推断ALR,以探讨ALR与严重COVID-19和SARS-CoV-2感染后遗症之间的关系。本文提出了一种基于注意力机制的多视角Swin Transformer模型,可以从分割的心脏CT扫描中推断全肺ALR值。作为监督训练,我们利用Multi-Ethnic Study of Atherosclerosis (MESA)中获取的配对全肺和心脏CT扫描数据。与简单的直接ALR推断相比,该网络表现显著更优,并且达到了与全肺ALR地面真值扫描-重扫描复现性相当的准确性和可重复性。

总结: 这篇论文提出了一种利用注意力机制的多视角Transformer模型,可以从心脏CT扫描推断全肺部气道与肺部大小之比,对COPD等肺部疾病的研究具有潜在价值。

—第26篇----

文章名称

Better by Default: Strong Pre-Tuned MLPs and Boosted Trees on Tabular Data

🔍 关键词: cs.LG

链接1

摘要: 本文针对表格数据上的分类和回归任务,介绍了(a)RealMLP,一种改进的多层感知机(MLP),以及(b)用于GBDT和RealMLP的强化默认参数。作者在包含118个数据集的meta训练基准上调整了RealMLP和默认参数,并将其与经过超参数优化的版本在包含90个数据集的不相交的meta测试基准上以及Grinsztajn等人(2022)提出的GBDT友好基准上进行了比较。在中等到大型的表格数据集(1K-500K样本)上的基准测试结果显示,RealMLP在时间-准确度权衡方面优于其他神经网络基线,并在基准分数方面与GBDTs具有竞争力。此外,结合RealMLP和带有改进默认参数的GBDT可以在没有超参数调整的情况下实现出色的结果。最后,作者证明了RealMLP的一些改进也可以大大提高TabR的默认参数性能。

总结: 本文提出RealMLP和优化的GBDT默认参数,在表格数据分类和回归任务上实现了良好的性能,无需复杂的超参数调整。

###【arXiv编号】2407.04491
###【git】无
###【期刊】预印本
###【领域】机器学习、表格数据分类与回归

[推荐指数：4]

该文章提出了RealMLP和优化默认参数GBDT,在表格数据分类回归任务上取得了出色的结果,无需复杂的超参数调优,具有很好的实用性。文章的创新性和实用性都很强,值得推荐。

—第27篇----

这篇文章属于计算机科学和机器学习领域,主要关注在有未观测混杂因素的情况下,利用观察性数据和随机对照试验数据来估计条件平均治疗效应(CATE)。

文章名称

🔍 关键词: Treatment Effect, Unmeasured Confounding, Observational Data, RCT

链接1

摘要: 该论文提出了一种两阶段预训练-微调(TSPF)框架,利用大规模观察性数据和小规模随机对照试验(RCT)数据,在存在未观测混杂因素的情况下估计CATE。第一阶段利用大规模观察性数据训练基础特征表示,以估计反事实结果。第二阶段训练增广的特征表示,将其与第一阶段得到的基础表示拼接,以调整未观测混杂因素。为避免小规模RCT数据过拟合,作者提出了部分参数初始化方法,而非训练一个新的网络。该方法在两个公开数据集上进行了验证,表现优于现有方法。总结: 一种利用观察性数据和RCT数据估计有未观测混杂因素的CATE的两阶段框架。
###【arXiv编号:2501.08888】
###【git: https://github.com/zhouchuanCN/KDD25-TSPF】
###【领域: 机器学习、因果推断】

[推荐指数：4]

该文章提出了一种创新的两阶段框架,利用大规模观察性数据和小规模RCT数据,有效解决了未观测混杂因素对CATE估计的影响,在实际中具有重要应用价值。框架设计合理,实验验证充分,对相关领域研究具有一定指导意义。

—第28篇----

文章名称

🔍 关键词: PAC, 场景决策算法, 必要与充分条件

链接1

摘要: 本文研究了场景决策算法的PAC性质,即在足够多个安全约束的实现(称为场景)被采样的情况下,能够做出任意低风险违反未知安全约束的决策的能力。文献中已有关于场景决策算法PAC性的充分条件,如其相关分类器的VC维有限和存在压缩方案。作者研究了这些充分条件是否也是必要条件的问题。结果表明,这不是一般情况下的情况。这与二元分类学习的情况形成对比,在那里类似的条件是充分必要的。著名的场景决策算法,如场景优化,还享有额外的性质,如稳定性和一致性。作者表明,即使在这些附加假设下,上述结论仍然成立。最后,作者提出了场景决策算法PAC的一个必要条件,这个条件受到VC维和所谓的无免费午餐定理的启发。总结: 本文研究了场景决策算法的PAC可学习性,并提出了必要的和充分的条件。
###【arXiv编号：2501.08887】
###【无git信息】
###【无期刊信息】
###【机器学习、优化、决策】

[推荐指数：4]

该文章从理论角度深入研究了场景决策算法的PAC可学习性,建立了必要和充分的条件,并探讨了一些著名算法的特性。这对于理解和设计鲁棒的决策算法有重要理论意义。同时该文还指出现有工作的局限性,给出了新的研究方向,具有较强的理论创新性。

—第29篇----

=====

Improved Compression Bounds for Scenario Decision Making

🔍 关键词: scenario decision making, compression size, probabilistic guarantees

arxiv:2501.08884v1

摘要: 场景决策提供了一种灵活的方式在不确定环境中做出决策,同时获得关于决策失败风险的概率保证。这种方法的思想是抽取不确定性的样本,并根据这些样本(称为"场景")做出决策。这种概率保证采取的形式是对采样获得的一组场景中,决策失败风险超过给定最大容忍度的概率进行界定。这个界限可以表示为采样场景数、最大容忍风险和问题的某个内在属性"压缩大小"的函数。现有的文献提出了多种这样的界限,我们提出了新的界限,在不需要更强假设的情况下对现有界限进行了改进。
总结: 本文提出了新的概率界限,在不增加假设前提的情况下改进了现有的场景决策方法。
###【arXiv:2501.08884v1】
###【领域: 优化、机器学习】

[评分：5]

该文章在场景决策问题上取得了重要进展,提出了新的概率界限,可以帮助决策者在不确定环境中做出更好的决策。相比现有方法,新界限无需额外假设,更加适用于实际应用。该工作具有较强的理论创新性和实用价值。

—第30篇----

文章名称

🔍 关键词: increasing batch size, stochastic gradient descent with momentum

arxiv

摘要: 本文研究了随机梯度下降算法加动量项(SGDM)的收敛性。理论分析表明,当使用固定批量大小进行优化时,无法最小化经验损失函数的梯度范数的期望值,但如果采用增大批量大小的策略,就可以最小化该期望值,从而提高SGDM算法的收敛速度。数值实验也证实,与固定批量大小相比,增大批量大小的SGDM算法可以更快收敛到稳定点。总结: 增大批量大小可以提高SGDM算法的收敛速度。
###【arXiv:2501.08883v1】
###【领域】机器学习

[推荐指数：4]

该文章从理论和实验两个角度,系统研究了增大批量大小对SGDM算法收敛性的影响,对深度学习等领域的模型训练具有重要的应用价值。

—第31篇----

这篇文章属于计算机科学和人工智能领域。

摘要: 这篇论文提出了一种名为"Multi-Source Dynamic Expansion Model (MSDEM)"的新方法,用于在多个数据源上进行增量学习。该方法利用多个预训练模型作为基础,并动态地建立新的专家模型以适应新的任务。论文还提出了一种动态可拓展注意力机制和动态图权重路由器,以加快新任务的学习并提高泛化性能。通过大量实验,论文证明了该方法取得了最先进的性能。

总结: 这篇论文提出了一种新的增量学习方法,能够有效地在多个数据源上学习新知识,并充分利用先前学习的知识提高性能。

[arXiv编号: 2501.08878]
[领域: 计算机科学, 人工智能]
[推荐指数: 4]

推荐理由: 这篇文章提出了一种创新性的解决多源增量学习问题的方法,在实验结果上也取得了显著的性能提升,对于增量学习领域具有重要的理论和实践价值。

—第32篇----

=====

Ensemble sampling for linear bandits: small ensembles suffice

🔍 关键词: linear bandits, ensemble sampling, regret bounds, infinite action sets

arXiv:2311.08376

摘要: 我们提供了关于集成抽样在随机线性多臂赌博机设置中的第一个有用和严格的分析。具体来说,我们证明了在标准假设下,对于一个d维的随机线性多臂赌博机,使用大小为O(d log T)的集成,可以获得最多为O((d log T)^{5/2} sqrt(T))的后悔率。这是第一个不需要集成规模与T线性扩展就能得到接近sqrt(T)阶后悔率的结果。我们的结果还首次允许无限的动作集。
总结: 这项工作提出了一种基于集成抽样的新型随机线性多臂赌博机算法,在保证较优后悔率的同时,集成规模仅需要对数级,大大提高了算法的实用性。

###【arXiv编号】2311.08376
###【领域】机器学习，强化学习

[推荐指数：4]

这篇文章在随机线性多臂赌博机领域取得了重要进展,提出了一种基于集成抽样的新算法。相比于之前的结果,该算法大大减小了集成规模,同时仍能保证接近最优的后悔率。这项工作不仅理论上的贡献重大,在实际应用中也具有很高的价值。

—第33篇----

评估内容如下：

文章名称

Inferring stochastic low-rank recurrent neural networks from neural data

🔍 关键词: cs.LG, q-bio.NC, stat.ML

[http://arxiv.org/pdf/2406.16749v4]

摘要: 该文章旨在利用变分序贯蒙特卡罗方法拟合低秩循环神经网络(RNN)模型,以捕捉神经数据中潜在的随机动态系统。该方法能获得比现有最先进方法更低维的潜在动态。对于具有分段线性非线性的低秩模型,文章还展示了如何以多项式而不是指数成本来高效识别所有固定点,从而使大RNN的动态分析变得可行。该方法不仅阐明了实验记录背后的动态系统,还提供了一个与观察到的变异性一致的生成模型。
总结: 本文提出了一种基于变分序贯蒙特卡罗方法的低秩随机RNN模型拟合方法,可以更好地捕捉神经数据的潜在动态特性。
###【arXiv编号: 2406.16749】
###【领域: 计算神经科学,机器学习】

[推荐指数：4]

该文章在计算神经科学和机器学习领域都有重要意义。提出的方法可以从神经数据中学习到更低维的潜在动态系统模型,这对于理解和分析神经活动背后的机制非常重要。同时,该方法还具有良好的可解释性和分析性,为大规模神经网络模型的研究提供了新的工具。该工作在创新性、实用性和理论分析深度上都表现出色,值得推荐。

—第34篇----

文章名称

🔍 关键词: cs.SI, cs.AI, cs.CY, cs.LG

链接1

摘要: 随着基于位置的服务的流行,人类流动性预测在增强个性化导航、优化推荐系统以及促进城市流动性和规划方面发挥关键作用。这涉及使用用户过去的访问历史来预测他们下一个将访问的地点(POI)。然而,访问在时间和空间上的不均匀分布,即空间分布中的长尾问题,使得AI模型很难预测那些被人类访问较少的POI。为了解决这个问题,我们提出了长尾调整的下一个POI预测(LoTNext)框架,结合了长尾图调整模块来减少用户-POI交互图中长尾节点的影响,以及一种新颖的长尾损失调整模块来通过对数分数和样本权重调整策略来调整损失。我们还使用辅助预测任务来增强泛化和准确性。我们在两个真实世界轨迹数据集上的实验表明,LoTNext明显优于现有的最先进的工作。

总结: 提出了一种利用长尾调整和辅助预测提高人类行为预测准确性的框架。

###【arXiv: 2410.14970】
###【领域: 计算机科学】

[推荐指数：4]

该论文提出了一种解决人类流动性预测中长尾问题的创新性框架,结合了长尾图调整和损失调整,同时利用辅助预测任务来提高整体预测准确性,对于改善行为预测模型的鲁棒性和实用性具有较高的创新性和应用价值。

—第35篇----

Based on the information provided, this appears to be a computer science research paper on the use of pre-trained visual representations (PVRs) in model-based reinforcement learning (MBRL). Here is a summary:

The Surprising Ineffectiveness of Pre-Trained Visual Representations for Model-Based Reinforcement Learning

🔍 Keywords: pre-trained visual representations, model-based reinforcement learning, sample efficiency, generalization

arXiv:2411.10175

摘要: 这篇论文研究了在模型驱动的强化学习(MBRL)中使用预训练的视觉表示(PVRs)的效果。通常情况下, PVRs能够提高样本效率和泛化性能。然而,作者发现在MBRL任务中,PVRs并没有比从头学习表示更有优势,也没有表现出更好的泛分布(OOD)泛化能力。作者分析了这一结果的原因,发现数据多样性和网络架构是影响OOD泛化性能的关键因素。总之,这项研究表明,目前的PVRs在MBRL任务中的性能并没有预期的优秀。

总结: 虽然PVRs在模型无关的强化学习中有优势,但在模型驱动的强化学习中,PVRs并不比从头学习表示更有效,也无法更好地泛化到分布外的场景。

—第36篇----

文章名称

ARMOR: Shielding Unlearnable Examples against Data Augmentation

🔍 关键词: cs.LG, cs.AI, cs.CR

链接1

摘要: 私人数据被非授权方收集并用于训练深度神经网络(DNN)会造成隐私泄露。为了保护隐私,可以通过添加噪声来降低原始样本的可学习性。最近提出了不可学习的例子来最小化训练损失,使模型几乎什么也学不到。但是,原始数据通常会在训练前进行预处理,这可能会恢复受保护数据的私人信息。本文首次揭示了数据增广(一种常用的数据预处理技术,用于提高模型的泛化能力)可能导致的数据隐私侵害问题。我们发现,数据增广可将模型在不可学习样本上的准确率从21.3%提高到66.1%。为了解决这一问题,我们提出了一种名为ARMOR的防御框架,用于保护数据隐私免受数据增广的潜在泄露。为了克服无法访问模型训练过程的困难,我们设计了一个非局部模块辅助的替代模型,更好地捕捉了数据增广的效果。此外,我们设计了一个替代增广选择策略,最大化增广和未增广样本的分布对齐,为每个类选择最佳的增广策略。我们还使用了一种动态步长调整算法来增强防御噪声生成过程。在4个数据集和5种数据增广方法上进行的大量实验验证了ARMOR的性能。与6种最先进的防御方法相比,ARMOR可将模型在增广受保护样本上的测试准确率降低60%以上。

总结: 本文提出了一种名为ARMOR的防御框架,用于在数据增广的情况下保护不可学习样本的隐私。该框架通过设计非局部模块辅助的替代模型和优化的增广选择策略,有效降低了模型在增广受保护样本上的准确率。

[arXiv编号: 2501.08862v1]

[领域: 计算机科学(机器学习、人工智能、密码学)]

[推荐指数: 5]

ARMOR方法从根本上解决了数据增广可能导致的隐私泄露问题,在不影响模型泛化性能的前提下,有效保护了不可学习样本的隐私。该方法在多个数据集和增广方法上都取得了显著的防御效果,展现了很好的实用性和创新性,对于保护隐私敏感数据的应用具有重要意义。

—第37篇----

CGCOD: Class-Guided Camouflaged Object Detection

🔍 关键词: Camouflaged Object Detection, Class-Guided Detection, Computer Vision, Machine Learning

链接1

摘要: 本文提出了一种新的任务,即Class-Guided Camouflaged Object Detection(CGCOD),它通过融合目标类别信息来增强传统Camouflaged Object Detection任务的鲁棒性和准确性。作者提出了一个新的数据集CamoClass,包含带有类别标注的真实世界迷彩目标。此外,作者提出了一个多阶段框架CGNet,它包含一个可插拔的类别提示生成器和一个简单有效的类别引导检测器。这为COD任务建立了一个新的范式,弥补了语境理解和类别引导检测之间的差距。广泛的实验结果证明了我们灵活框架通过利用类别级文本信息提高现有检测器性能的有效性。

总结: 本文提出了一种新的Class-Guided Camouflaged Object Detection任务,结合目标类别信息来增强迷彩目标检测的性能,并设计了一个多阶段框架CGNet来实现这个目标。

###【arXiv编号】2412.18977v2
###【领域】计算机视觉, 机器学习

[推荐指数：4]

本文提出了一个创新的迷彩目标检测任务,结合目标类别知识来增强检测性能,并设计了一个有效的框架实现该目标。在目标检测领域具有较强的创新性和应用价值,值得关注和借鉴。

—第38篇----

文章名称

🔍 关键词: stat.ML, cs.LG

http://arxiv.org/pdf/2312.06403v4

摘要: 移动健康利用个性化和情境感知的干预措施,这些干预措施通过赌博和强化学习算法优化。但在实践中,参与者的异质性、非平稳性和非线性关系等挑战阻碍了算法的性能。我们提出了 RoME,这是一种强大的混合效应上下文赌博算法,它通过以下方式同时解决这些挑战:(1)对用户和时间特定的随机效应进行建模,以确定奖励差异,(2)网络凝聚力惩罚,(3)用于灵活估计基线奖励的去偏机器学习。我们建立了一个仅取决于差异奖励模型维度的高概率后悔界限,即使基线奖励高度复杂,我们也能实现稳健的后悔界限。我们在模拟和两项离线评估研究中证明了 RoME 算法的优越性能。
总结: 提出了一种混合效应上下文赌博算法(RoME),可在参与者异质性、非平稳性和非线性关系等挑战下,提高移动健康应用的干预效果。
###【arXiv:2312.06403v4】
###【领域】统计机器学习、计算机科学

[推荐指数：4]

该文章提出了一种创新的混合效应上下文赌博算法,能够在移动健康应用中有效解决参与者异质性、非平稳性、非线性等挑战,提高干预效果。算法设计合理,理论分析严谨,实验验证性能优秀,对于移动健康等领域具有重要的应用价值。

—第39篇----

文章名称

🔍 关键词: Contextual Dynamic Pricing, Valuation models, Regret bounds

链接1

摘要: 这篇文章研究了在上下文动态定价的场景中,如何设计一个定价策略来最大化收益。文章考虑了两种不同的买家估值模型:一种是估值线性依赖上下文并受噪音干扰,另一种是估值是上下文的β-Hölder函数。对于第一种模型,作者提出的算法可以达到最优的 $\tilde{\mathcal{O}}(T^{2/3})$ 的后悔率bound;对于第二种模型,算法可以达到 $\tilde{\mathcal{O}}(T^{d+2\beta/d+3\beta})$ 的后悔率bound,其中d是上下文空间的维度。总结: 这篇文章针对上下文动态定价问题提出了两种估值模型,并设计了性能优于现有结果的定价算法。
###【arXiv编号: 2406.11316v2】
###【git】
###【期刊】
###【领域: 统计机器学习、算法设计与理论分析】

[推荐指数：4]

这篇文章针对上下文动态定价这一重要且富有挑战性的问题,提出了两种新的估值模型并设计了相应的算法,在理论分析上取得了较大突破,推广性和应用前景较大。算法设计的创新性和分析技巧值得学习。

—第40篇----

PRIMO: Private Regression in Multiple Outcomes

🔍 关键词: cs.LG, cs.CR

http://arxiv.org/pdf/2303.04195v2

摘要: 本文提出了一种新的私有回归设置,称为Private Regression in Multiple Outcomes (PRIMO),灵感来自于数据分析师想在保持隐私的情况下执行一组l个回归的常见情况,其中特征X在所有l个回归中是共享的,每个回归i∈[l]都有不同的输出向量yi。简单地应用现有的私有线性回归技术l次会导致误差相对标准线性回归设置有一个√l倍的增加。我们应用了一系列技术,包括足够统计量扰动(SSP)和几何投影方法,开发了能够在广泛的参数范围内优于这种基线的可扩展算法。特别是,当l足够大时,我们获得了对l没有依赖性的渐近误差。在基因组风险预测多重表型任务上的实证结果表明,即使对于远小于理论预测的l值,我们的投影方法也能提高精度相对于不使用投影的方法。

总结: 本文提出了一个新的私有回归模型PRIMO,能够在保持隐私的同时执行多个输出回归,并提出相应的算法,在实验中展示了其优秀的性能。

###【arXiv:2303.04195】
###【GitHub】
###【无】
###【机器学习、隐私保护】

[4]

该文章提出了一个新颖的私有回归模型PRIMO,在保持隐私的同时能够执行多个输出回归。文章中提出的算法在实验中表现出色,具有较高的创新性和实用价值。同时,此类私有机器学习模型在医疗、金融等数据敏感领域具有广泛应用前景。

—第41篇----

文章名称

Digital Phenotyping for Adolescent Mental Health: A Feasibility Study Employing Machine Learning to Predict Mental Health Risk From Active and Passive Smartphone Data

🔍 关键词: Digital Phenotyping, Adolescent Mental Health, Machine Learning, Smartphone Data

[http://arxiv.org/pdf/2501.08851v1]

摘要: 该研究探索利用主动和被动的智能手机数据,结合机器学习技术来预测青少年的心理健康风险。共有103名年龄平均为16.1岁的参与者,使用Mindcraft应用程序 14 天收集数据,包括自我报告和手机传感器数据。研究发现,结合主动和被动数据的模型性能优于单独使用任一数据源,在预测内化和外化障碍、进食障碍、失眠和自杀意念方面取得了良好的平衡精度。这项研究证明了整合主动和被动的智能手机数据以及先进的机器学习技术来预测心理健康风险的潜力。

总结: 结合主动和被动的智能手机数据及机器学习技术,能有效预测青少年心理健康风险。

[arXiv编号: 2501.08851]

【领域: 计算机科学、人工智能】

[推荐指数: 4]

该研究针对青少年心理健康这一重要而又容易被忽略的群体,提出了一种融合主动和被动手机数据的创新性预测模型。该模型不仅在预测内化、外化、进食、失眠和自杀等多个心理健康风险指标上取得了良好的性能,而且为大规模筛查和早期干预提供了可行的技术路径。该研究具有较强的实用价值和学术创新性,值得推荐。

—第42篇----

Graph Counterfactual Explainable AI via Latent Space Traversal

🔍 关键词: graph, counterfactual, explainable AI, latent space, variational autoencoder

http://arxiv.org/pdf/2501.08850v1

摘要: 该文章提出了一种基于图神经网络和变分自编码器的方法,用于生成图形分类器的反事实解释。该方法通过遍历自编码器的潜在空间来生成与原始输入图形"最近"且预测结果发生变化的图形。这种方法可以seamlessly地整合离散的图结构和连续的图属性,并在三个图数据集上展示了优于基线方法的性能和鲁棒性。总结:利用图神经网络和变分自编码器生成图分类器的反事实解释。
###【arXiv:2501.08850v1】
###【-】
###【-】
###【机器学习、图神经网络、可解释AI】

[4]

该文章提出了一种创新的方法来解决图形分类器的可解释性问题,结合了图神经网络和变分自编码器的优势。该方法在实验中表现良好,具有较高的实用性。

—第43篇----

RouteNet-Gauss: Hardware-Enhanced Network Modeling with Machine Learning

🔍 Keywords: Network simulation, Machine Learning, Hardware acceleration, Performance estimation

PDF Link

摘要: 本文提出了一种称为RouteNet-Gauss的新方法,通过将实际网络环境作为硬件加速器,结合机器学习模型,来解决网络模拟过程中面临的计算成本和精度问题。实验结果表明,相比于传统的离散事件仿真方法,RouteNet-Gauss可以大幅降低预测误差(最高达95%)并且推理时间提高488倍。RouteNet-Gauss的模块化架构可以根据网络场景的特点动态构建,能够推广到不同的网络配置,包括大规模网络(最大10倍)。此外,它还支持可配置时间粒度的性能估计,在保持高精度的前提下提供流量性能指标。这种方法在提高仿真效率和精度方面都展现出很大的潜力,为网络运营商提供了一个有价值的工具。

总结: 本文提出了一种基于硬件加速和机器学习的新型网络模拟方法RouteNet-Gauss,可以显著提高仿真效率和精度,为网络运营商提供了一种有价值的建模工具。

###【arXiv编号】2501.08848
###【git】无
###【期刊】无
###【领域】计算机网络

[推荐指数：4]

该文章提出了一种创新的网络模拟方法,将实际网络作为硬件加速器,与机器学习相结合,显著提高了仿真的效率和精度。该方法具有很好的模块化设计,能够适应不同网络配置,支持灵活的性能估计。相比于传统离散事件仿真方法,该方法在速度和准确性方面都有巨大提升,为网络建模和分析提供了一个很有价值的新工具。

—第44篇----

这篇论文属于计算机、金融等领域。

摘要: 该文提出了一种扩展的深度队列反应(MDQR)模型,该模型放松了队列独立性的假设,丰富了状态空间,并对订单大小的分布进行建模。该模型利用神经网络架构学习不同价位之间的复杂依赖关系,并适应不同的市场条件,同时保持了原始框架的可解释点过程基础。在德国国债期货市场的数据上,MDQR模型能够很好地捕捉市场影响的平方根规律、跨队列相关性和现实的订单大小模式等关键市场特性。总结来说,该模型在复制订单大小的有条件和平稳分布以及市场微观结构的各种定型事实方面表现出色,同时保持了实际应用中所需的计算效率。

总结: 该论文提出了一种深度学习和传统队列反应模型相结合的新框架,在捕捉现实限价订单簿的各种复杂特性方面表现出色,为金融市场的建模和策略开发提供了新工具。

[arXiv编号: 2501.08822]
[领域: 计算机科学、金融工程]
[推荐指数: 4]

推荐理由: 该论文结合了深度学习和经典的队列反应模型,提出了一种新颖的框架,在捕捉实际限价订单簿的复杂特性方面取得了显著进展,为金融市场建模和策略开发带来了新的可能。作者在理论分析和实证验证方面均有较为深入的探索,整体研究质量较高,值得推荐。

—第45篇----

A Closer Look at the Learnability of Out-of-Distribution (OOD) Detection

🔍 关键词: machine learning, out-of-distribution, PAC learning theory

arxiv.org/pdf/2501.08821v1

摘要: 本文深入探讨了目前理论结果对于"异分布检测"问题(OOD detection)的悲观态度。作者根据PAC学习理论提出了"均匀学习性"和"非均匀学习性"的概念,并分析了OOD检测在不同条件下的可学习性。结果表明,在某些情况下,虽然OOD检测在"均匀学习"下是不可能的,但在"非均匀学习"下仍然是可学习的。对于可学习的情况,作者给出了具体的学习算法和样本复杂性分析。总结: 该文从理论角度深入分析了OOD问题的可学习性，提出了新的概念,并给出了正面结果。
###【arXiv:2501.08821】
###【-】
###【-】
###【机器学习】

[4]

这篇论文从PAC学习理论出发,对OOD检测的可学习性进行了细致的理论分析。提出了"均匀"和"非均匀"可学习性的新概念,并在此基础上得到了一些积极的结果。理论分析深入,算法提出也具有一定创新性。对于OOD检测这个重要问题,该文的研究结果具有较强的学术价值。同时文中给出的算法和分析也有一定的应用前景,值得进一步研究和推广。整体上这篇论文的创新性和实用性都较高,是一篇很有价值的学术成果。

—第46篇----

IDEA: Image Description Enhanced CLIP-Adapter

🔍 关键词: CLIP, Few-shot Learning, Image-text Correlation

http://arxiv.org/pdf/2501.08816v1

摘要: CLIP (对比语言图像预训练)在模式识别和计算机视觉领域取得了巨大成功。将CLIP迁移到下游任务(如零样本或少样本分类)是多模态学习的一个热点话题。然而,当前的研究主要集中在文本的提示学习或图像的适配器调整,而没有充分利用图像-文本对之间的补充信息和相关性。在本文中,我们提出了一种图像描述增强的CLIP-Adapter (IDEA)方法,以适应少样本图像分类任务。该方法通过利用图像的视觉特征和文本描述来捕捉细粒度特征。IDEA是一种无需训练CLIP的方法,在多个任务上可以与或甚至超过最先进的模型。此外,我们引入了可训练的IDEA (T-IDEA),通过添加两个轻量级的可训练组件(即投影器和可学习的潜在空间),进一步提高了模型的性能,在11个数据集上实现了SOTA结果。作为一项重要贡献,我们采用Llama模型,设计了一个全面的管道来为11个数据集的图像生成文本描述,总共生成了1,637,795个图像-文本对,命名为"IMD-11"。我们发布了代码和数据。

总结: 本文提出了一种CLIP-Adapter方法IDEA,通过结合图像视觉特征和文本描述来提高少样本图像分类的性能,并进一步提出了可训练的T-IDEA算法,在多个基准数据集上取得了优异的结果。作为重要贡献,文章还生成了丰富的图像-文本对数据集IMD-11。

[arXiv:2501.08816]

【git: https://github.com/FourierAI/IDEA】

【领域: 计算机视觉, 机器学习】

[推荐指数: 4]

该方法充分利用了图像和文本之间的互补信息,在少样本图像分类任务上取得了SOTA水平的性能,同时发布了大规模的图像-文本对数据集,对该领域的研究有着重要的推动作用。作为一种无需训练CLIP的方法,IDEA和T-IDEA算法具有良好的实用性和可操作性。

—第47篇----

Volterra Accentuated Non-Linear Dynamical Admittance (VANYA) to model Deforestation: An Exemplification from the Amazon Rainforest

🔍 关键词: cs.LG, Deforestation, Prey-Predator Dynamics, Time-series Forecasting

http://arxiv.org/pdf/2308.06471v2

摘要: 本文提出了一种新的模型 VANYA (Volterra Accentuated Non-Linear Dynamical Admittance)，用于预测亚马逊雨林的森林覆盖损失。VANYA 模型结合了 Prey-Predator 动力学,在准确性和可解释性方面表现出色,并与其他模型如 LSTM、N-BEATS 和 RCN 进行了对比。通过引入可适应的描述符和组合论推理,VANYA 模型可以有效地应用于其他传统领域的时间序列预测问题。

总结: 本文提出了 VANYA 模型,并在亚马逊雨林上示范了其优秀的预测能力,相比其他模型表现更加出色。

[arXiv:2308.06471]

[无git信息]

[无期刊信息]

【领域】计算机科学，机器学习，时间序列预测，环境科学

[推荐指数：4]

该文章提出了一种新颖的 VANYA 模型,能够有效地预测亚马逊雨林的森林覆盖损失。该模型融合了 Prey-Predator 动力学,在准确性和可解释性方面都有较好的表现,值得进一步研究和应用。作者在实验评估中与多种流行模型进行了对比,进一步验证了 VANYA 模型的优势。该工作在环境建模和时间序列预测领域具有创新性和实用性。

—第48篇----

Learning Optimal Tax Design in Nonatomic Congestion Games

🔍 关键词: cs.GT, cs.AI, cs.LG, cs.MA

http://arxiv.org/pdf/2402.07437v2

摘要: 在多人游戏中,玩家之间的自私行为可能会损害社会福利。税收机制是一种常见的方法,用于缓解这一问题并诱导社会最优行为。在这项工作中,我们采取了第一步,在拥挤游戏中学习可以最大化社会福利的最优税收,但只有有限的反馈信息。我们提出了一种新型的反馈机制,称为"均衡反馈",其中税收设计者只能观察部署税收计划后的纳什均衡。由于存在巨大的税收函数空间、梯度的不存在以及目标函数的非凸性,现有算法无法应用。为了解决这些挑战,我们设计了一种计算效率很高的算法,利用几个新颖的关键部件:(1)分段线性税收来近似最优税收;(2)额外的线性项来保证强凸的潜势函数;(3)一个高效的子程序来找到可以提供关键信息的探索性税收。该算法可以以O(βF^2/ε)的样本复杂度找到ε-最优的税收,其中β是成本函数的平滑度,F是设施的数量。

总结: 该文章提出了一种基于"均衡反馈"的有限反馈下学习最优税收的算法,可以应用于拥挤的多人游戏场景,在理论上实现了较优的样本复杂度.

###【arXiv编号: 2402.07437v2】
###【领域: 博弈论、人工智能、机器学习、多智能体系统】

[推荐指数：4]

该文章提出了一种创新性的税收学习算法,充分利用了拥挤游戏的特点,设计了新颖的反馈机制和算法组件,在理论上取得了不错的结果。作为税收优化问题的初步研究,为后续进一步探索这一领域奠定了基础。该算法在应用于自动调节拥挤导致的负外部性等实际问题时,也具有广泛的应用前景。

—第49篇----

=====

Evaluation of Artificial Intelligence Methods for Lead Time Prediction in Non-Cycled Areas of Automotive Production

🔍 关键词: Artificial Intelligence, lead time prediction, automotive production, supervised machine learning

PDF

摘要: 本研究评估了在汽车生产环境中应用人工智能方法来预测非循环控制生产区域中未知交货时间的有效性。分析了数据结构以识别上下文特征,然后使用one-hot编码进行预处理。方法选择集中在监督机器学习技术上。在监督学习方法中,评估了回归和分类方法。基于目标大小分布的连续回归是不可行的。分类方法分析显示,集成学习和支持向量机是最合适的。初步研究结果表明,梯度提升算法LightGBM、XGBoost和CatBoost产生了最佳结果。经过进一步测试和广泛的超参数优化,最终选择了LightGBM算法。根据特征的可用性和预测间隔的细粒度,可以达到高达90%的相对预测准确率。进一步的测试突出了定期重新训练AI模型的重要性,以准确地表示使用数据库的复杂生产过程。该研究表明,人工智能方法可以有效地应用于高度可变的生产数据,在提供各种控制任务的额外指标的同时,也优于当前非基于人工智能的系统。
总结: 本文提出了一种利用人工智能预测非循环生产车间交货时间的方法,能够达到90%的预测准确率。

###【arXiv编号: 2501.07317】
###【git】
###【期刊】
###【领域: 机器学习、工厂自动化】

[推荐指数: 4]

这篇文章提出了一种创新性的人工智能方法来预测非循环生产环境中的交货时间,具有较高的预测准确率,实用性强,可以帮助生产管理人员更好地控制生产进度,提高生产效率。该方法可应用于汽车生产等复杂的非周期性生产环境中,具有较强的推广性。

—第50篇----

文章名称

🔍 关键词: Constrained Latent Action Policies, Model-Based Offline Reinforcement Learning

链接

摘要: 该论文提出了一种基于生成模型的离线强化学习方法Constrained Latent Action Policies (C-LAP)。在离线强化学习中,由于只使用静态数据集,会出现政策生成出分布样本的问题。C-LAP通过学习观测和动作的联合分布模型,将策略学习约束在潜在动作分布的支撑内,从而避免了需要使用额外的不确定性惩罚项,大幅减少了策略优化所需的梯度步数。实验结果表明,C-LAP在视觉观测数据集上特别出色,与最新方法相比具有较强的竞争力。

总结: 基于生成模型的离线强化学习方法C-LAP,通过约束策略在潜在动作分布内生成,大幅提高了学习效率。

###【arXiv编号】2411.04562v2
###【领域】机器学习、强化学习

[推荐指数：4]

该方法是基于生成模型的离线强化学习框架,解决了传统方法中由于数据分布偏差导致的策略质量下降问题。其通过对策略生成进行约束,不仅提高了学习效率,在视觉观测的任务上也表现出色。总体而言,该方法创新性强,具有很好的实用前景。

—第51篇----

文章名称

Deep learning for temporal super-resolution 4D Flow MRI

🔍 关键词: cs.LG, 4D Flow MRI, temporal super-resolution, deep learning

链接1

摘要: 4D Flow Magnetic Resonance Imaging (4D Flow MRI)是一种无创性的体积时间分辨血流定量技术。但由于采集时间、图像噪音和分辨率之间的权衡,其临床应用受限。特别是在高度瞬态流动区域,粗糙的时间分辨率会妨碍对生理相关流动变化的准确捕捉。为了解决这些问题,使用深度学习的后处理技术已显示出增强分辨率的有希望结果。然而,虽然超分辨率一直集中在空间上采样,但时间超分辨率仍然未被充分探索。因此,本研究的目的是实现和评估用于时间超分辨4D Flow MRI的残差网络。为此,对现有的空间网络(4DFlowNet)进行了重新设计,以适应时间上采样,同时优化内部层结构。使用来自患者特定in-silico模型的合成4D Flow MRI数据以及in-vivo数据进行训练和测试。整体上取得了出色的性能,输入速度得到有效去噪和时间上采样,在不可见的in-silico设置中的平均绝对误差(MAE)为1.0 cm/s,优于确定性替代方案。此外,该网络还从不可见的低分辨率in-vivo数据合成了高分辨率的时间信息,在峰值流帧处观察到强相关性。因此,我们的结果强调了利用数据驱动的神经网络进行时间超分辨4D Flow MRI的潜力,在不超出临床可接受限制的前提下实现高帧率流量定量。

总结: 本研究提出了一种基于深度学习的时间超分辨4D流动MRI的方法,可以在不增加扫描时间的情况下,通过后处理提高流动信息的时间分辨率,有助于更准确地捕捉生理相关的流动变化。

###【arXiv编号: 2501.08780】
###【无git信息】
###【无期刊信息】
###【领域: 医疗影像、计算机视觉】

[推荐指数：4]

该论文提出了一种运用深度学习实现4D流动MRI时间超分辨的创新方法,能够在不增加扫描时间的前提下大幅提高测量流动信息的时间分辨率,并在测试中取得了优异的性能。这种方法可以有效克服4D流动MRI在动态流场测量中的局限性,对于改善医学诊断与决策具有重要意义,具有较强的创新性和实用价值。

—第52篇----

文章名称

🔍 关键词: math.OC, cs.LG, stat.CO

链接1

摘要: 集合卡尔曼反演(EKI)是一种无导数、基于粒子的优化方法,用于解决反向问题。可以证明EKI近似于梯度流,这允许应用加速梯度下降的方法。这里,我们表明Nesterov加速有助于加快EKI成本函数的减少,适用于各种反向问题。我们还为两种EKI变体实现了Nesterov加速,即无迹卡尔曼反演和集成变换卡尔曼反演。我们的具体实现采取了粒子级别的推动形式,可以轻松地以黑盒方式耦合到任何现有的EKI变体算法中,不需要额外的计算开销和调整超参数。这项工作为未来的研究提供了一条途径,将基于梯度的优化进展转化为基于梯度自由的卡尔曼优化进展。总结: 本文提出了Nesterov加速集成卡尔曼反演(EKI)及其变体的方法,可以有效加速解决反向问题。
###【arXiv编号】2501.08779v1
###【领域】计算机、优化

[推荐指数：4]

该文章提出了一种Nesterov加速集成卡尔曼反演(EKI)的方法,可以加快反向问题的求解。该方法无需任何额外计算开销和额外的超参数调整,可以轻松与任何现有的EKI变体算法耦合。对于解决各种反向问题具有广泛的适用性。整体上该工作具有较高的创新性和实用性,值得推荐。

—第53篇----

此文章属于计算机、人工智能、多智能体系统等领域。

摘要: 我们提出了一种新的合作式多智能体强化学习(MARL)方法,适用于网络化智能体。与之前依赖完整状态信息或联合观测的方法不同,我们的智能体必须在部分可观测性下学会实现共同目标。在训练过程中,他们收集个体奖赏并通过局部通信近似团队价值函数,从而表现出合作行为。为描述问题,我们引入了网络化动态部分可观测马尔可夫博弈框架,其中智能体通过切换拓扑的通信网络进行通信。我们的分布式方法DNA-MARL使用共识机制进行局部通信,使用梯度下降进行局部计算。DNA-MARL扩展了网络化智能体的应用范围,非常适用于施加隐私需求且消息可能无法送达的实际领域。我们在基准MARL场景中评估了DNA-MARL,结果突出了其优于之前方法的性能。

总结: 该文章提出了一种适用于部分可观测性环境的多智能体强化学习方法DNA-MARL,通过局部通信和计算实现了智能体之间的合作,扩展了网络化智能体的应用范围。

[arXiv编号：2501.08778]
[领域: 计算机、人工智能、多智能体系统]
[推荐指数: 4]

推荐理由:

该文提出了一种创新的多智能体强化学习算法,能够在部分可观测性的环境下实现智能体之间的合作,相比之前的方法有明显的性能改进。该算法在隐私性要求较高的实际应用场景也较为适用,具有较强的实用性。整体来说,该文在创新性和实用性方面都有较高水平,值得进一步关注和探讨。

—第54篇----

= 文章摘要 =

文章名称

Metric Space Magnitude for Evaluating the Diversity of Latent Representations

🔍 关键词: cs.LG, math.GT, stat.ML

链接1

摘要: 度量空间的幅度是一个新的不变量,它提供了一种测量空间"有效大小"的方法,涵盖了诸如曲率、密度或熵等多个几何属性。我们开发了一系列基于幅度的潜在表示内在多样性的度量,形式化了有限度量空间幅度函数相异性的新概念。我们的度量对数据扰动具有稳定性,可以高效计算,并支持对潜在表示进行多尺度描述和比较。我们展示了它在不同领域和任务中的效用和优异性能,包括(i)自动估计多样性、(ii)检测模式崩溃和(iii)评估文本、图像和图数据的生成模型。
总结: 度量空间幅度指标可以有效评估潜在表示的内在多样性,对多种应用场景如生成模型评估等都有良好表现。

###【arXiv编号：2311.16054v5】
###【领域：计算机视觉、数学、机器学习】

[推荐指数：4]

该文章提出了一种新颖的基于度量空间幅度的方法来评估潜在表示的多样性,在多个应用场景中表现优异,为相关领域带来了创新性的贡献。该方法具有计算高效、对扰动稳定等特点,为实际应用提供了便利。

—第55篇----

Leveraging LLM Agents for Translating Network Configurations

🔍 关键词: cs.NI, cs.AI, cs.LG, cs.SE

http://arxiv.org/pdf/2501.08760v1

摘要: 配置转换是网络操作中的一项关键且频繁的任务。当网络设备损坏或过时时,管理员需要更换它以维持服务连续性。更换的设备可能来自不同的供应商,需要进行配置转换以确保网络操作的无缝运行。然而,手动转换配置是一个劳动密集型且容易出错的过程。在本文中,我们提出了一个基于意图的框架,使用大型语言模型(LLM)代理来翻译网络配置。我们的方法的核心是一个基于意图的检索增强生成(IRAG)模块,该模块系统地将配置文件分割成片段,提取意图,并生成准确的翻译。我们还设计了一种两阶段验证方法,以验证翻译配置的语法和语义正确性。我们在真实世界的网络配置上实施和评估了所提出的方法。实验结果显示,我们的方法实现了97.74%的语法正确率,在翻译精度方面优于最先进的方法。

总结: 本文提出了一种基于大型语言模型的配置翻译框架,可以实现高精度的网络配置自动化转换。

###【arXiv:2501.08760v1】
###【github】
###【期刊论文】
###【领域】网络配置自动化

[推荐指数：4]

该文章提出了一种创新的基于LLM的网络配置自动化转换方法,具有很高的语法正确率和实用性。该方法可以有效解决当前网络设备更换时配置转换的问题,大大提高网络运维的效率。

—第56篇----

文章名称

Maximizing Uncertainty for Federated learning via Bayesian Optimisation-based Model Poisoning

🔍 关键词: cs.LG, cs.AI, cs.CV

链接1

摘要: 这篇文章提出了一种名为Delphi的新颖的模型下毒攻击方法,旨在最大化联邦学习(FL)中全局模型输出的不确定性。该方法利用了局部模型第一个隐藏层模型参数与不确定性之间的关系,采用贝叶斯优化和最小二乘信任区域两种优化方法来搜索最优的受污染模型参数。作者还建立了数学证明,展示了该攻击方法的有效性。实验结果表明,Delphi-BO比Delphi-LSTR更能引发更高的不确定性,凸显了FL系统对模型下毒攻击的脆弱性。

总结: 这篇文章提出了一种新颖的模型下毒攻击方法Delphi,利用贝叶斯优化和最小二乘信任区域优化技术最大化联邦学习中全局模型输出的不确定性,从而暴露了联邦学习系统的脆弱性。

###【arXiv编号: 2501.08002v2】
###【git】
###【期刊】

###【领域】: 计算机视觉、机器学习

[推荐指数：4]

这篇文章提出了一种新颖的模型下毒攻击方法,能够有效地提高联邦学习系统中全局模型输出的不确定性,凸显了联邦学习系统对此类攻击的脆弱性。该方法具有较强的创新性和实用性,对于理解和增强联邦学习系统的安全性具有重要意义。

—第57篇----

MeshMask: Physics-Based Simulations with Masked Graph Neural Networks

🔍 关键词: cs.LG, physics.flu-dyn

[http://arxiv.org/pdf/2501.08738v1]

摘要: 我们提出了一种基于图神经网络(GNN)的新型掩码预训练技术,应用于计算流体动力学(CFD)问题。通过在预训练过程中随机屏蔽高达40%的输入网格节点,我们强迫模型学习复杂流体动力学的强大表征。我们将这种掩码策略与不对称的编码器-解码器架构和带门的多层感知器相结合,进一步提高性能。所提出的方法在七个CFD数据集上实现了最先进的结果,包括一个新的具有超过25万个节点的3D颅内动脉瘤模拟数据集。此外,它显著提高了模型在如此广泛的流体模拟任务上的性能和训练效率。与先前的最佳模型相比,我们展示了高达60%的长期预测精度改善,同时保持了相似的计算成本。值得注意的是,我们的方法可以在多个数据集上进行有效的预训练,大大减少了在新任务上实现高性能所需的时间和数据。通过广泛的消融研究,我们提供了关于最佳屏蔽比例、架构选择和训练策略的见解。

总结:该论文提出了一种基于掩码预训练的图神经网络方法,用于解决计算流体动力学问题,取得了显著的性能提升,能够在新任务上快速实现高性能。

[arXiv:2501.08738]

[git]

[期刊]

领域: 计算机科学, 流体力学

[推荐指数: 5]

该文章提出了一种创新性的图神经网络方法,通过掩码预训练显著提高了在计算流体动力学任务上的性能,并且能够在新任务上快速适应,大幅提升了训练效率。该方法在七个CFD数据集都取得了最先进的结果,包括一个非常大规模的3D颅内动脉瘤数据集,展示了很强的泛化能力。通过消融研究,文章还分析了关键设计选择对性能的影响,为进一步改进提供了有价值的见解。整体来看,这是一篇在理论创新和实际应用上都有重要贡献的优秀论文。

—第58篇----

文章名称

Resource-Constrained Federated Continual Learning: What Does Matter?

🔍 关键词: Federated Continual Learning, Resource-Constrained, Incremental Learning

http://arxiv.org/pdf/2501.08737v1

摘要: 联邦持续学习(FCL)旨在通过保留先前知识并适应新数据,在边缘设备上有序地进行隐私保护的模型训练。目前的FCL文献关注数据隐私和访问先前看到的数据的限制,但没有对训练开销施加任何限制。这对于在现实场景中的FCL应用来说是不合理的,因为边缘设备主要受存储、计算预算和标签率等资源的限制。我们重新审视这个问题,构建了一个大规模的基准测试,并分析了在不同资源受限设置下,最先进的FCL方法的性能。我们涉及各种典型的FCL技术和两个增量学习场景(类别-IL和领域-IL)中的六个数据集。通过大量的实验,我们发现在有限的资源受限设置下,现有的FCL方法都无法实现预期的性能。我们的结论在敏感性分析中是一致的。这表明,大多数现有的FCL方法对资源的依赖程度特别高,不太适合在现实世界中部署。此外,我们还研究了在资源约束下典型FCL技术的性能,为FCL未来的研究方向提供启示。
总结：现有的联邦持续学习(FCL)方法在资源受限的环境下表现不佳,需要在未来的研究中解决资源依赖的问题。

###【arXiv:2501.08737v1】
###【期刊】计算机科学 - 机器学习
###【领域】联邦学习、增量学习

[推荐指数：3]

该论文针对现有联邦持续学习方法在资源受限环境中的缺陷进行了深入分析,并得到了一些重要结论,为未来FCL研究提供了有价值的借鉴。但由于还未对具体的解决方案进行深入探讨,创新性和实用性还有待进一步提升。

—第59篇----

文章名称

🔍 关键词: Maxent, neural networks, species distribution models, presence-only data

链接1

摘要: 这篇文章介绍了DeepMaxent，这是一种利用神经网络自动学习共享特征的最大熵原理物种分布模型。传统的物种分布模型 (SDM) 如Maxent会受到仅存在数据 (PO) 的采样偏差和缺乏缺失信息的影响。DeepMaxent使用归一化的泊松损失函数，通过神经网络自动从复杂的输入变量中提取特征。作者在有明显采样偏差的基准数据集上评估了DeepMaxent,结果表明其性能优于Maxent和其他主流SDM,尤其在采样不均匀的区域效果更好,展现了大幅提高SDM性能的潜力。这种方法可以得到比单物种模型更准确的预测,为改进SDM建模方法提供了新可能。

总结: 本文提出了一种基于神经网络和最大熵原理的物种分布模型DeepMaxent,可以更好地处理仅存在数据的采样偏差问题。

[arXiv编号: 2412.19217]

[git]

[期刊: 无]

[领域: 机器学习, 生态建模]

[推荐指数: 4]

这篇文章提出了一种创新的物种分布模型方法,能够更好地利用仅存在数据解决采样偏差问题,在基准测试中取得了出色的性能,对于丰富和改进物种分布建模的方法学具有重要意义。该方法融合了最大熵原理和深度学习技术,具有较强的创新性和应用前景。

—第60篇----

A Closer Look at Deep Learning Methods on Tabular Datasets

🔍 Key words: deep learning, tabular data, benchmarking, meta-features

[http://arxiv.org/pdf/2407.00956v3]

摘要: 该论文对深度学习在表格数据集上的表现进行了全面的评估和分析。首先,作者对32种最新的深度学习和基于树的模型进行了广泛比较,评估了它们在多项标准下的平均性能。尽管不同数据集上的方法排名会有所不同,但作者发现,无论采用何种标准,表现最佳的方法通常集中在一小部分表格模型中。接下来,作者调查了深度表格模型的训练动态是否可以根据数据集属性进行预测。这种方法不仅为深度表格方法的行为提供了见解,而且还确定了反映数据集异构性的"元特征"的核心集合。另一组数据集中,方法排名与整体基准一致,可作为进一步表格分析的可靠探针。

总结: 论文全面比较了多种深度学习和传统模型在表格数据集上的表现,发现虽然方法排名因数据集而异,但顶尖方法集中在少数几种表格模型中,并且可以根据数据集属性预测模型训练动态。

###【arXiv:2407.00956】
###【无】
###【无】
###【机器学习、数据分析】

[评分:4]

该论文全面评测了多种深度学习和传统方法在表格数据集上的性能,并且深入分析了影响表现的关键因素,为理解和应用表格数据的深度学习模型提供了有价值的洞见,具有较强的创新性和实用性。

—第61篇----

这篇文章属于计算机科学、人工智能和统计机器学习领域。

摘要: 最近使用选择性状态空间序列模型(称为Mamba模型)的序列建模方法引起了广泛关注。这些模型能够以线性时间高效处理长序列,并且正在被快速地应用于语言建模等广泛的领域,展示出有希望的性能。为了在实际场景中可靠使用它们,增强其可解释性是至关重要的。我们的工作填补了这一关键缺口,将可解释性特别是层向相关传播(LRP)引入到Mamba架构中。遵循相关性保持公理,我们确定了Mamba架构中导致不忠实解释的具体组件。为了解决这个问题,我们在LRP框架内提出了MambaLRP,这是一种新的算法,可确保通过这些组件实现更稳定和可靠的相关性传播。我们提出的方法在理论上是合理的,并且在不同模型和数据集上实现了最先进的解释性能。此外,MambaLRP有助于更深入地检查Mamba架构,揭示各种偏差并评估其重要性。它还可以分析关于Mamba模型长程能力的先前猜测。

总结: 这篇文章提出了MambaLRP, 一种将可解释性引入选择性状态空间序列模型(Mamba模型)的新方法,可以提高其在实际应用中的可靠性。

[arXiv编号: 2406.07592]
[git]
[期刊]
[领域: 计算机科学、人工智能、统计机器学习]
[推荐指数: 4]

推荐理由: 这篇文章在Mamba模型的可解释性方面做出了重要贡献,提出了创新性的MambaLRP算法,并在多个数据集上验证了其优秀的性能。这对于促进Mamba模型在实际应用中的可靠使用非常重要。此外,该方法还有助于深入分析Mamba模型的内部机理及其长程能力,具有较高的学术价值。因此总体上这篇文章值得强烈推荐。

—第62篇----

GRAPPA - A Hybrid Graph Neural Network for Predicting Pure Component Vapor Pressures

🔍 关键词: GRAPPA, graph neural network, vapor pressure, pure component

[http://arxiv.org/pdf/2501.08729v1]

摘要: GRAPPA是一个混合图神经网络模型,用于预测纯组分蒸气压。该模型由三部分组成:图注意力网络用于信息传递,池化函数捕获长程相互作用,预测头输出Antoine方程的组分参数,从而可以计算任意温度下的蒸气压。该模型在近25,000个纯组分的实验蒸气压数据上进行了训练和评估,在适用性和准确性方面优于最先进的组贡献方法和其他机器学习方法。该训练好的模型及其代码完全公开,并且通过交互式网站直接可用。

总结: GRAPPA是一个基于图神经网络的混合模型,可以准确预测任意有机分子的纯组分蒸气压曲线,性能优于现有方法。

###【arXiv编号】2501.08729
###【git】无
###【期刊】无
###【领域】计算机

[推荐指数：4]

GRAPPA在预测纯组分蒸气压方面具有出色的性能,不仅适用范围广泛,而且准确度高于现有方法。该模型开源且可直接在线使用,对于化学工艺设计等应用领域具有重要价值。

—第63篇----

文章名称

Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models

🔍 关键词: cs.LG, text-to-image, parameter-efficient fine-tuning, low-rank adaptation, tensor decomposition

http://arxiv.org/pdf/2501.08727v1

摘要: 本文提出了一种新的参数高效微调(PEFT)方法,结合了变换和残差适应两类自适应机制。首先,我们对预训练权重应用一个全秩和密集的变换,以尽可能地将预训练权重与所需权重对齐,从而降低残差权重的秩。然后,残差部分可以通过更加紧凑和参数高效的结构有效地近似,并且近似误差更小。为了在实践中实现超高参数效率,我们为变换和残差适应设计了高度灵活和有效的张量分解。此外,流行的PEFT方法如DoRA也可以概括为这种变换加残差适应方案。在微调稳定扩散模型的主题驱动和可控生成任务上的实验结果表明,我们的方法可以实现更好的性能和参数效率,优于LoRA和几种基线方法。

总结: 本文提出了一种新的参数高效微调方法,通过结合变换和残差适应两种机制,大幅提升了模型的参数效率和性能。

###【arXiv编号: 2501.08727】

【领域: 机器学习 / 文本-图像生成】

[推荐指数：4]

该论文提出了一种创新性强、实用性高的参数高效微调方法,在微调Stable Diffusion等文本-图像模型方面取得了显著的性能和参数效率提升,值得进一步学习和应用。

—第64篇----

这篇文章属于计算机和电子领域。

文章名称

🔍 关键词: Sparse Low-Ranked Self-Attention Transformer, Remaining Useful Lifetime Prediction, Optical Fiber Amplifiers

链接1

摘要: 光纤放大器是现有光网络中的关键元素。这些组件的故障会导致网络运营商收入的巨大财务损失,因为受影响链路上的通信流量会中断。应用于光纤放大器的剩余使用寿命(RUL)预测可以提前预测即将到来的系统故障,从而通过计划有针对性的维护行动来最小化网络中断,从而确保可靠性和安全性。光纤放大器是一个复杂的系统,在各种工作条件下运行,这使得正确的预测变得困难。系统监测能力的提高导致了可以应用数据驱动的RUL预测方法的数据集。特别是深度学习模型已经显示出良好的性能,但基于相对较小的数据集进行RUL预测的概括是困难的。在本文中,我们提出了Sparse Low-ranked self-Attention Transformer (SLAT)作为一种新的RUL预测方法。SLAT基于编码器-解码器架构,其中两个并行工作的编码器提取传感器和时间步长的特征。通过利用自注意机制,可以从长序列中学习到长期依赖关系。在注意力矩阵中实现稀疏性和低秩参数化可以减少过拟合并提高泛化能力。应用于光纤放大器(EDFA)以及涡扇发动机参考数据集的实验表明,SLAT优于当前最先进的方法。

总结: 这篇文章提出了一种基于稀疏低秩自注意力变换器的光纤放大器剩余使用寿命预测方法,该方法能够有效提高预测性能并提高泛化能力。

###【arXiv编号: 2409.14378】
###【git】
###【期刊】
###【领域: 计算机、电子、信号处理】

[推荐指数：4]

该方法在光纤放大器剩余使用寿命预测方面具有较高的创新性和实用性,能够有效提高预测精度并克服小数据集带来的泛化问题,值得进一步研究和应用。

—第65篇----

文章名称

🔍 关键词: Hierarchical Information Extraction, Self-Supervised Learning, Hierarchical Clustering

链接1

摘要: 分析大规模数据集特别是涉及复杂和高维数据如图像是一个特别具有挑战性的任务。尽管自监督学习(SSL)已被证明对于从无标签数据中学习表示很有效,但它通常关注于平面的、非层次结构的,忽略了许多真实世界数据集中存在的多层次关系。层次聚类(HC)可以通过将数据组织成树状结构来揭示这些关系,但它通常依赖于难以捕捉多样性数据类型复杂性的刚性相似性度量。为了解决这些问题,我们设计了InfoHier,一个将SSL与HC结合的框架,以共同学习鲁棒的潜在表示和层次结构。这种方法利用SSL提供自适应表示,增强HC捕捉复杂模式的能力。同时,它将HC损失整合到SSL训练过程中,从而得到更能反映潜在信息层次的表示。InfoHier有望提高聚类和表示学习的表达能力和性能,为数据分析、管理和信息检索带来显著的好处。总结: InfoHier框架将自监督学习和层次聚类相结合,可以同时学习鲁棒的潜在表示和层次结构,提高数据分析和管理的性能。

[arXiv:2501.08717]

[无]

【计算机视觉,机器学习,信息检索】

[推荐指数：4]

这篇文章提出了一个创新性的框架InfoHier,将自监督学习和层次聚类相结合,可以同时学习鲁棒的潜在表示和层次结构,对复杂高维数据如图像具有很好的表达能力。该方法能有效提升数据分析、管理和信息检索的性能,有着广泛的应用前景,值得关注和进一步研究。

—第66篇----

该文章适合计算机/人工智能领域。

摘要:文章提出了一种自监督的变换学习方法(Self-supervised Transformation Learning, STL),用于学习等变表示。现有的无监督表示学习方法利用随机裁剪和颜色抖动等变换来学习不变表示,但这可能会降低对于需要精确特征的任务(如定位或花朵分类)的性能。STL 使用图像对来派生变换表示,从而学习相应的等变变换,在不增加批量复杂度的情况下提高性能。文章展示了该方法在多个分类和检测任务上的有效性,在11个基准测试中有7个优于现有方法,尤其在检测任务上表现出色。STL 可与复杂变换(如AugMix)集成,提高了性能的适应性和抗干扰性。此外,它与多种基础模型兼容,突出了其灵活性和广泛适用性。

总结:该文提出了一种新的自监督变换学习方法STL,用于提高计算机视觉任务中的等变表示学习,在多个基准测试中表现优异。

—第67篇----

这篇文章属于计算机科学和机器学习领域。以下是对文章的摘要和总结:

文章名称

Disentangled Interleaving Variational Encoding

🔍 关键词: cs.LG, stat.ML

[http://arxiv.org/pdf/2501.08710v1]

摘要: 本文提出了一种名为Deep Disentangled Interleaving Variational Encoding (DeepDIVE)的方法,该方法旨在解决多任务学习中的矛盾目标问题。该方法通过将原始输入分解为边缘概率分布和条件概率分布,在潜在空间中形成聚类,并使用cross-attention机制将这些特征统一起来。理论分析表明,结合重建和预测目标可以完全捕捉下界,并使用朴素贝叶斯导出了用于解耦的损失函数。实验结果表明,DeepDIVE可以有效地解耦原始输入,并在两个公开数据集上实现了优于原始VAE且与现有最先进基准方法相当的预测准确率。

总结: 本文提出了一种新的多任务学习方法DeepDIVE,通过解耦原始输入的边缘和条件概率分布,在潜在空间中形成聚类,并使用cross-attention机制进行融合,从而有效地解决了多任务学习中的矛盾目标问题。

###【arXiv编号：2501.08710】
###【git】
###【期刊】
###【领域: 机器学习、多任务学习】

[推荐指数：4]

该文章提出了一种创新的多任务学习方法,通过概率分布解耦和cross-attention机制融合,实现了对原始输入的有效表示和预测,属于较高水平的计算机科学和机器学习研究成果。

—第68篇----

文章名称

FADE: Towards Fairness-aware Augmentation for Domain Generalization via Classifier-Guided Score-based Diffusion Models

🔍 关键词: cs.LG, cs.AI

http://arxiv.org/pdf/2406.09495v3

摘要: 本文提出了一种称为Fairness-aware Classifier-Guided Score-based Diffusion Models (FADE)的新方法,以有效解决公平知域泛化(FairDG)问题。具体来说,该方法首先预训练一个分数扩散模型(SDM)和两个分类器,使模型具有跨不同域的强大泛化能力。然后,它使用这些预训练的分类器来引导SDM,有效地消除生成数据中的敏感信息。最后,生成的公平数据用于训练下游分类器,确保在新的数据分布下具有稳健的性能。广泛的实验表明,FADE不仅增强了公平性,而且在存在分布偏移的情况下也提高了准确性。此外,FADE优于现有方法,实现了最佳的准确率-公平性折衷。

总结: 本文提出了一种称为FADE的新方法来解决公平知域泛化(FairDG)问题,通过预训练SDM和分类器并利用它们生成公平数据来提高模型在新分布数据下的泛化性能。

[arXiv编号: 2406.09495]

领域: 机器学习、人工智能

[推荐指数: 4]

FADE提出了一种创新的基于分数扩散模型和引导分类器的方法来解决FairDG问题,不仅在公平性和准确性两个方面都有显著提升,而且在分布偏移场景下也表现出较强的鲁棒性。该方法为公平知域泛化领域带来了新的思路和解决方案,具有较强的创新性和实用价值。

—第69篇----

文章名称

🔍 关键词: Parallelizing Linear Transformers, Delta Rule, Sequence Length

链接1

摘要: 这篇文章提出了一种用于训练线性变换器的硬件高效算法,它利用了一种用于计算 Householder 矩阵乘积的内存高效表示。该算法使我们能够将 DeltaNet 扩展到标准语言建模设置。我们训练了一个 1.3B 模型,发现它在困惑度和零样本下游任务表现方面优于最近的线性时间基线,如 Mamba 和 GLA。我们还实验了两种混合模型,一种结合了 DeltaNet 层和滑动窗口注意力层,另一种结合了 DeltaNet 层和两个全局注意力层,发现这些混合模型优于强大的变压器基线。总结: 该文章提出了一种硬件高效的训练线性变换器的算法,并展示了其在语言建模和下游任务中的优秀表现。
###【arXiv编号: 2406.06484】
###【git】
###【期刊】
###【领域: 机器学习, 自然语言处理】

[推荐指数：4]

这篇论文提出了一种高效的训练线性变换器的算法,并在标准语言建模和下游任务上取得了良好的性能,是一篇值得关注的创新性工作。算法设计有洞见,结果也有一定的实用性。整体来说这篇论文比较出色。

—第70篇----

RoHan: Robust Hand Detection in Operation Room

🔍 关键词: cs.CV, cs.LG

http://arxiv.org/pdf/2501.08115v2

摘要: 本文提出了一种名为"RoHan"的新方法,用于在手术室环境中进行稳健的手部检测。该方法采用先进的半监督域自适应技术,应对手术室中各种环境条件变化、手套颜色多样性以及遮挡等挑战。方法主要包括两个阶段:(1)利用"人工手套"的数据增强策略,使用公开数据集合成佩戴手套的手部图像;(2)通过迭代预测细化和高效帧过滤的半监督域自适应管道,提高在真实手术室场景中的检测性能。该方法大大减少了对大规模标注和模型训练的需求,为在医疗环境中实际应用手部检测技术奠定了基础。

总结: 本文提出了一种名为"RoHan"的新方法,利用半监督域自适应技术解决手术室环境下手部检测的各种挑战,大幅降低了对大规模标注和训练的需求,可为医疗场景中手部检测技术的应用提供解决方案。

###【arXiv编号：2501.08115v2】
###【git】
###【期刊】
###【领域】: 计算机视觉、机器学习

[推荐指数：4]

本文提出了一种新的手部检测方法"RoHan",针对手术室环境下的挑战采用了先进的半监督域自适应技术,不仅提高了检测性能,还大大减少了对大规模标注和训练的需求,这对于在实际医疗场景中应用手部检测技术具有重要意义。该工作在创新性、可行性和实用性方面都很出色,值得高度推荐。

—第71篇----

文章名称

Constructing Confidence Intervals for ‘the’ Generalization Error – a Comprehensive Benchmark Study

🔍 关键词: stat.ML, cs.LG

http://arxiv.org/pdf/2409.18836v2

摘要: 在评估机器学习中预测模型的质量时,对广义误差的置信区间(CI)是一个关键工具。幸运的是,存在许多计算此类CI的方法,并不断提出新的有前景的方法。这些方法通常将各种重采样过程(最常见的是交叉验证和自举法)与不同的方差估计技术相结合。然而,目前还没有共识说明这些组合在何时可以最可靠地使用,以及它们如何总体上进行比较。在这项工作中,我们进行了第一个如此大规模的研究,比较了广义误差的CI,我们在19个表格回归和分类问题上,使用7个不同的诱导器和8个损失函数,经验地评估了13种不同的CI方法。我们概述了构建广义误差CI的方法论基础和固有挑战,并在统一框架中提供了13种方法的简明综述。最后,根据覆盖频率、宽度和运行时间对CI方法进行了评估。基于这些发现,我们可以识别一个我们建议使用的方法子集。我们还在OpenML上发布了数据集作为基准测试套件,在GitHub上发布了我们的代码,以供进一步研究。

总结: 本文进行了一个全面的基准测试,比较了13种计算机器学习模型泛化误差置信区间的方法,为确定最可靠的方法提供了指导。

[arXiv编号:2409.18836]

[Github仓库]

[OpenML数据集]

领域: 统计学习、机器学习

推荐指数: 4

本文针对计算机学习模型泛化误差置信区间的方法进行了全面的基准测试和对比,为选择可靠的方法提供了有价值的指导。报告了多种常用的置信区间计算方法,并基于覆盖频率、区间宽度和运行时间进行了评估,为研究人员提供了参考。这项工作对于提高机器学习模型评估的可靠性和可复制性有重要意义。

—第72篇----

这篇论文属于计算机科学领域。

摘要: 该论文引入了一个优化框架,旨在为一类复合优化问题提供理论基础,特别是那些出现在深度学习中的问题。在这个框架中,我们引入了 $\mathcal{H}(\phi)$ -凸性和 $\mathcal{H}(\Phi)$ -光滑性来推广现有的Lipschitz光滑性和强凸性概念。此外,我们分析并建立了梯度下降和随机梯度下降方法在 $\mathcal{H}(\Phi)$ -光滑目标函数下的收敛性。我们证明了这些方法的最优收敛速率仅取决于 $\Phi$ 的齐次度。基于这些发现,我们构建了两种非凸和非光滑优化问题:确定性复合和随机复合优化问题,它们涵盖了深度学习中的大多数优化问题。为了解决这些问题,我们开发了梯度结构控制算法,并证明它可以定位近似全局最优解。这标志着与传统的非凸分析框架的重大转变,后者通常只能得到驻点。因此,通过引入 $\mathcal{H}(\phi)$ -凸性和 $\mathcal{H}(\Phi)$ -光滑性,以及GSC算法,深度学习中的非凸优化机制可以得到理论解释和支持。最后,通过经验试验证明了所提出的框架的有效性。

总结: 这篇论文提出了一个新的优化框架,以理论基础支持深度学习中的复合优化问题,并开发了相应的优化算法。

—第73篇----

论文信息

🔍 关键词: Diffusion, Audio-visual speech enhancement, Unsupervised, Generative model

arxiv链接

摘要: 本文提出了一种新的无监督的基于音视频的语音增强(AVSE)方法,结合了基于扩散的音视频语音生成模型和基于非负矩阵分解(NMF)的噪声模型。首先,扩散模型在对应的视频数据上进行预训练,以模拟语音的生成分布。然后,该预训练模型与基于NMF的噪声模型相结合,以迭代估计干净的语音。具体来说,实现了一种基于扩散的后验采样方法,在逆扩散过程中,在每次迭代后都会获得一个语音估计值,并用于更新噪声参数。实验结果证实,所提出的AVSE方法不仅优于仅使用音频的对应方法,而且泛化能力也优于最近的监督生成式AVSE方法。此外,新的推理算法在推理速度和性能之间提供了更好的平衡,与之前的基于扩散的方法相比。代码和Demo可在以下网址获得:https://jeaneudesayilo.github.io/fast_UdiffSE

总结: 本文提出了一种无监督的基于音视频的语音增强方法,结合了扩散生成模型和NMF噪声模型,实现了更好的增强性能和泛化能力。

[arXiv编号] 2410.05301

[领域] 计算机视觉、机器学习、信号处理

[推荐指数：4]

该论文提出了一种创新的无监督的基于音视频的语音增强方法,融合了前沿的扩散生成模型和NMF噪声模型,在性能和泛化性方面都有明显改进。该方法在语音处理、视觉感知等领域均有潜在应用价值,是一篇很有创新性和实用性的研究工作。

—第74篇----

文章名称

Interpreting Equivariant Representations

🔍 关键词: cs.LG, stat.ML

链接1

摘要: 潜在表示广泛用于下游任务,如可视化、插值或特征提取深度学习模型。不变和等变神经网络是强大且已经建立的模型,用于强加归纳偏差。在本文中,我们证明,施加于等变模型的归纳偏差在使用潜在表示时也必须考虑在内。我们展示了不考虑归纳偏差会导致下游任务性能下降,反之,如何通过使用潜在表示的不变投影有效地考虑归纳偏差。我们提出了选择此类投影的原则,并展示了在两个常见示例中使用这些原则的影响:首先,我们研究了用于分子图生成的置换等变变分自编码器;这里我们证明可以设计不会造成所得不变表示中信息损失的不变投影。接下来,我们研究了用于图像分类的旋转等变表示。在这里,我们说明如何使用随机不变投影来获得保留大量信息的不变表示。在这两种情况下,对不变潜在表示的分析都优于其等变对应物。最后,我们说明,本文记录的等变神经网络中的现象在标准神经网络中也有对应物,在那里通过增强来鼓励不变性。因此,虽然这些歧义可能为等变模型的经验开发人员所知,但我们让更广泛的社区都能获得处理这些歧义的知识和有效工具。

总结: 对等变表示的解释,提出了如何通过不变投影来解决由等变模型引入的归纳偏差对下游任务的潜在影响。

[arxiv:2401.12588]

[github:not available]

[journal:not available]

领域

机器学习
计算机科学

[推荐指数：4]

该文章提出了处理等变模型潜在表示中的归纳偏差问题的有效方法,对于机器学习和计算机视觉等领域的研究人员非常有价值。该方法通过不变投影的方式来保留关键的信息,同时降低了归纳偏差对下游任务的影响,具有较高的应用前景。

—第75篇----

文章名称

🔍 关键词: Generalized Linear Models, Bandits, Confidence Sequence

链接1

摘要: 我们提出了一个统一的似然比置信序列(CS)，适用于任何(自共轭)广义线性模型(GLM)，并保证是凸的和数值紧密的。我们证明它不逊于已知的各种GLM的CS,包括高斯、伯努利和泊松。特别是,我们第一次为伯努利给出了 $\mathrm{poly}(S)$ 免半径的CS,其中 $S$ 是未知参数的范数。我们的第一个技术创新是利用时间统一的PAC-Bayesian界,尽管后者是一种不太受欢迎的选择。作为我们新的CS的直接应用,我们提出了一种简单自然的乐观算法OFUGLB,适用于任何广义线性强盗(GLB)。我们的分析表明,著名的乐观方法同时实现了各种自共轭(不一定有界)GLB的最先进的后悔,甚至对于有界的GLB(包括logistic强盗)实现了 $\mathrm{poly}(S)$ 免。分析后悔的第二个技术创新是,我们完全避免了以前广泛使用的自共轭控制引理(Faury et al., 2020, Lemma 9)。数值上,OFUGLB优于或与以前的算法在logistic强盗上表现持平。
总结: 这是一篇关于广义线性模型及其在强盗(Bandit)问题中的应用的学术论文,提出了一种统一的置信序列方法,并设计了一种优化的强盗算法。

###【arXiv编号】2407.13977
###【领域】机器学习，信号处理

[推荐指数：4]

这篇文章在广义线性模型和强盗问题方面有重要的理论创新,提出了一种统一的置信序列方法并设计了优秀的强盗算法,对相关领域有重要的理论意义和应用价值。论文的技术创新点和结果都体现出很高的水平,值得推荐。

—第76篇----

SupplyGraph: A Benchmark Dataset for Supply Chain Planning using Graph Neural Networks

🔍 关键词: supply chain, graph neural networks, benchmark dataset

arXiv:2401.15299

摘要: 本文介绍了SupplyGraph数据集,这是一个用于利用图神经网络进行供应链规划的基准数据集。供应链网络在本质上具有图状结构,这使得它们成为应用图神经网络方法的绝佳候选对象。但是,缺乏真实世界的基准数据集一直是该领域研究的一大障碍。SupplyGraph数据集来自孟加拉国一家领先的快速消费品公司,包含了供应链规划所需的时间序列数据,如销售预测、生产计划和工厂问题识别等。这个数据集的发布为使用图神经网络解决供应链问题提供了可能,有助于推动供应链分析和规划领域的发展。

总结: 本文介绍了用于供应链规划的基准数据集SupplyGraph,为基于图神经网络的供应链优化研究提供了支持。

###【arXiv:2401.15299】
###【git: https://github.com/CIOL-SUST/SupplyGraph】
###【领域】: 供应链管理、图神经网络、时间序列分析

[推荐指数：4]

该数据集是供应链领域首个基于图神经网络的公开基准数据集,为该领域的研究提供了有力支持。数据覆盖供应链规划的关键任务,具有很强的实用性。数据源自实际工业应用,具有较高的现实意义和代表性。

—第77篇----

文章名称

🔍 关键词: diagonal over-parameterization, reproducing kernel Hilbert spaces, adaptive feature model, generalization, adaptivity

链接1

摘要: 本文提出了一个对角自适应核模型,在训练过程中动态地学习核特征值和输出系数。与固定核方法不同,该自适应核模型能根据真实函数的结构进行自适应调整,尤其在初始核与目标不匹配时,能显著提高泛化性能。我们还发现,这种自适应性来自于在训练过程中学习到正确的特征值,体现了特征学习的行为。通过深层参数化,我们进一步表明额外的深度可增强自适应性和泛化性。这项研究结合了特征学习和隐式正则化的洞见,为神经网络在核范式之外的自适应性和泛化潜力提供了新的视角。

[arXiv编号: 2501.08679]

[领域: 机器学习]

[推荐指数: 4]

该文章提出了一种新颖的自适应核模型,能够在训练过程中动态学习核特征值和输出系数,从而显著改善泛化性能,尤其是当初始核与真实目标不匹配时。该模型揭示了特征学习在提高自适应性和泛化性方面的重要作用,为神经网络在核范式之外的应用提供了新的研究方向。该工作结合了特征学习和隐式正则化的见解,在理论和应用层面上都有较大创新性和实用价值。

—第78篇----

文章名称

Get Rid of Isolation: A Continuous Multi-task Spatio-Temporal Learning Framework

🔍 关键词: cs.LG, cs.AI

arxiv链接

摘要: 本文提出了一种连续多任务时空学习框架(CMuST)来促进城市智能的发展。传统的时空模型主要关注于单一任务,假设训练集和测试集服从相同分布。但实际上,城市系统通常是动态的,数据源多样且分布不平衡。因此,现有的单任务模型很难在新的城市环境中泛化和适应。CMuST采用跨维度和多任务学习的方式,提出了一种新的多维时空交互网络(MSTI)来捕捉任务之间的共性和个性。为确保连续任务学习,提出了一种滚动自适应训练方案(RoAda),不仅可以保留任务的独特性,还能利用任务之间的相关模式。实验结果表明,CMuST在稀缺流数据和新领域任务上都优于现有方法。

总结: 该文提出了一种基于连续多任务时空学习的城市智能框架CMuST,通过跨维度交互和自适应模型训练,有效解决了城市系统动态变化、数据分布不平衡等问题,在稀缺数据和新领域任务上表现出色。

[arxiv编号]:2410.10524

【领域】: 计算机科学（机器学习、人工智能）

[推荐指数: 4]

这篇文章提出了一种新颖的连续多任务时空学习框架CMuST,通过建模任务之间的关联和跨维度交互,能有效解决城市系统中动态变化、数据分布不均衡等问题,在稀缺流数据和新领域任务表现都很突出,体现了较强的创新性和实用性,值得进一步关注和探索。

—第79篇----

文章名称

🔍 关键词: 量子计算, 生成对抗网络, 航运数据

[https://arxiv.org/pdf/2501.08678v1]

摘要: 该论文研究了使用量子-经典混合生成对抗网络(QuGANs)人工生成航运路径图数据。作者构建了基于实际航运数据的训练集,并比较了QuGANs和经典生成对抗网络(GANs)在参数效率方面的差异。结果表明,QuGANs能够快速学习和表示潜在的几何属性和分布,但在引入采样数据的方差方面存在一定困难。与参数更多的经典GANs相比,某些QuGANs在结果质量方面表现相似。研究为量子计算在生成人工数据方面的应用提供了说明性示例。
总结: 本文探讨了利用量子-经典混合生成对抗网络(QuGANs)人工生成航运路径图数据的方法和效果,并与经典GAN模型进行了对比分析。
###【arXiv:2501.08678】
###【领域: 计算机,量子计算】

[推荐指数: 4]

该文章提出了一种基于QuGANs的航运路径图数据生成方法,结果表明相比经典GANs,QuGANs在参数效率和学习几何分布等方面有一定优势,为量子计算在生成人工数据方面的应用提供了有益的探索。该方法在某些应用场景下具有一定的创新性和实用价值。

—第80篇----

SPEQ: Stabilization Phases for Efficient Q-Learning in High Update-To-Data Ratio Reinforcement Learning

🔍 关键词: Reinforcement Learning, Q-learning, Sample Efficiency, Computational Efficiency

[http://arxiv.org/pdf/2501.08669v1]

摘要: 本文提出了一种名为SPEQ的方法,旨在提高深度强化学习算法的计算效率。深度强化学习面临的一个关键挑战是样本效率,特别是在需要收集大量环境交互的实际应用中。最近的离线策略算法通过增加Update-To-Data (UTD)比率和执行更多梯度更新来提高样本效率。然而,这会显著增加计算成本。SPEQ方法建立在Dropout Q-Functions (DroQ)算法之上,交替进行在线低UTD比率训练阶段和离线稳定化阶段。在稳定化阶段,我们在不收集新环境交互的情况下微调Q函数,这提高了replay缓冲区的有效性,并减少了计算开销。实验结果表明,SPEQ与最先进的高UTD比率算法相比,在连续控制问题上可以实现相当的性能,但需要56%更少的梯度更新和50%更少的训练时间。SPEQ提供了一种有效且计算经济的解决方案,同时保持了更昂贵的高UTD比率最先进算法的相同样本效率。

总结: SPEQ是一种提高深度强化学习算法计算效率的方法,通过稳定化训练阶段来减少计算开销,同时保持与最先进高UTD比率算法相当的样本效率。

[arXiv:2501.08669]

[无git链接]

[无期刊信息]

【领域】计算机科学、人工智能

[推荐指数：4]

SPEQ方法在保持与最先进高UTD比率算法相当的样本效率的同时,大幅降低了计算开销,体现了很好的创新性和实用性。该方法在连续控制问题上展现出优秀的性能,值得进一步关注和学习。

—第81篇----

Fully Distributed, Flexible Compositional Visual Representations via Soft Tensor Products

🔍 关键词: Tensor Product Representation (TPR), Soft TPR, Soft TPR Autoencoder, compositional representation learning, disentanglement

http://arxiv.org/pdf/2412.04671v2

摘要: 该文章提出了一种新的表示形式——Soft Tensor Product Representation (Soft TPR)，用于编码分布式和灵活的组合性结构。Soft TPR与传统的符号级联表示方式不同，它能够更好地与深度学习的连续分布特性相匹配。同时作者提出了Soft TPR Autoencoder,这是一个专门设计用于学习Soft TPR的理论框架。实验表明,Soft TPR框架在视觉表示学习领域中, 在解纠缠度、表示学习收敛性、样本效率和低样本区域性能等方面都优于常规的解纠缠方法,显示了分布式和灵活的组合性表示方式的潜力。

总结: 该文提出了一种新颖的分布式和灵活的组合性表示框架Soft TPR,并设计了相应的自编码器模型,在视觉表示学习任务中表现出色,展现了组合性表示方式的新可能。

[arXiv:2412.04671]

[无git信息]

[Transactions on Neural Networks and Learning Systems]

【领域】机器学习、计算机视觉

[推荐指数：4]

该文提出了一种新颖独特的分布式组合性表示方法Soft TPR,突破了传统符号连接的局限性,更好地匹配了深度学习的特性。同时设计了专门的学习框架Soft TPR Autoencoder,在多项视觉表示学习任务中表现出色,体现了较强的创新性和实用价值。该方法对于增强深度学习模型的组合性建模能力,提升视觉表示学习的性能都有重要意义。

—第82篇----

Product of Gaussian Mixture Diffusion Model for non-linear MRI Inversion

🔍 关键词: non-linear MRI, Gaussian mixture diffusion model

http://arxiv.org/pdf/2501.08662v1

摘要: 本文提出了一种基于高斯混合扩散模型的新型MRI重建方法。与传统的黑盒神经网络不同,该方法使用参数高效且可解释的扩散模型作为图像先验,同时在此基础上联合重建图像和线圈灵敏度。这种方法在快速推理和对比度外推数据以及采样轨迹的鲁棒性方面表现出色,与传统变分正则化方法相当。最后,概率性公式还允许计算后验期望和逐像素方差。总之,该方法在MRI重建领域具有一定创新性和实用性。

【arXiv:2501.08662】

【期刊】尚未发表

【领域】医学图像处理、机器学习

[推荐指数：4]

该文章提出了一种创新性的MRI重建方法,采用参数高效且可解释的高斯混合扩散模型代替传统的黑盒神经网络,在保证重建质量的同时大幅降低了计算复杂度。该方法在对比度外推和采样轨迹鲁棒性方面表现出色,在医学影像重建领域具有较高的实用价值。

—第83篇----

这篇文章属于计算机科学和人工智能领域。

摘要: 事件预测任务通常处理分布在大型空间区域的时空数据。该区域内的不同区域具有不同的特性,同时也存在潜在的相关性。这种空间异质性和相关性极大地影响了事件发生的时空分布,但现有的最新模型尚未解决这一问题。在连续空间中学习事件的空间依赖性是一个挑战,因为它的细粒度和缺乏先验知识。在这项工作中,我们提出了一个新的图空时点过程(GSTPP)模型用于细粒度事件预测。它采用编码器-解码器架构,利用神经常微分方程(ODEs)联合建模空间局部化区域的状态动态。状态演化建立在一种新颖的自适应锚图(SAAG)基础之上,该图捕获空间依赖性。通过自适应定位空间中的锚节点并联合构建它们之间的相关边,SAAG增强了模型学习复杂空间事件模式的能力。所提出的GSTPP模型大大提高了细粒度事件预测的准确性。广泛的实验结果表明,我们的方法大大提高了现有时空事件预测方法的预测准确性。

总结:这篇文章提出了一种新的图空时点过程(GSTPP)模型,该模型利用自适应锚图(SAAG)捕获复杂的空间事件依赖关系,大大提高了细粒度事件预测的准确性。

【arXiv编号】2501.08653
【git】无
【期刊】无
【领域】计算机科学,人工智能

[推荐指数：5]

这篇文章提出了一种创新的GSTPP模型,通过自适应锚图捕获了事件发生的空间依赖关系,在提高细粒度事件预测准确性方面取得了很好的成果。该方法具有较强的创新性和实用性,对于相关领域的研究具有一定的参考价值。

—第84篇----

=====

Joint Learning of Depth and Appearance for Portrait Image Animation

🔍 关键词: 2D portrait animation, depth estimation, image generation, diffusion models

链接1

摘要: 本文提出了一种联合学习视觉外观和深度的肖像图像生成方法。该方法基于扩散模型,引入了新的架构来学习这种条件联合分布,包括参考网络和通道扩展的扩散主干网络。训练完成后,该框架可以高效地适应于各种下游应用,如人脸深度到图像和图像到深度的生成、肖像重新照明以及基于音频的说话头动画生成,并能输出一致的3D结果。总结: 提出了一种联合学习视觉外观和深度的肖像图像生成方法,可用于多种下游应用。
###【arXiv编号：2501.08649】
###【git】
###【期刊】
###【领域: 计算机视觉、机器学习】

[推荐指数：4]

该论文提出了一种新颖的联合学习视觉外观和深度的扩散模型框架,可以支持多种下游应用,如3D头部动画的生成等,具有较强的创新性和实用性。

—第85篇----

根据给定的文章信息,我进行以下分析:

文章名称

🔍 关键词: Selective Instruction Tuning, Uncertainty-Aware Self-Reflection, LLMs

链接1

摘要: 指令调优(IT)对于调整大型语言模型(LLMs)以实现以人为中心的交互至关重要。最近的进展表明,仔细选择一小部分高质量的IT数据可以显著提高LLMs的性能。然而,现有方法通常依赖于额外的模型或数据,这增加了成本并限制了广泛采用。在这项工作中,我们提出了一种新的方法,称为SelectIT,利用LLM自身的基础能力。具体来说,我们利用LLM中固有的不确定性,更有效地选择高质量的IT数据,而无需额外的资源。此外,我们创建了一个精选的IT数据集Selective Alpaca,通过将SelectIT应用于Alpaca-GPT4数据集。实证结果表明,使用Selective Alpaca进行IT可以显著提高模型能力。SelectIT的健壮性也在各种基础模型和特定领域任务中得到证实。我们的发现表明,更长且更计算密集的IT数据可能是更优秀的IT来源,为该领域的未来研究提供了有价值的见解。
总结: 该方法SelectIT利用LLM自身的不确定性特性,有效选择高质量的指令调优数据,从而大幅提升LLMs的性能,适用于多种基础模型和领域任务。

###【arXiv:2402.16705v2】
###【git】https://github.com/Blue-Raincoat/SelectIT
###【领域】计算机, 人工智能, 机器学习

[推荐指数：4]

该论文提出了一种创新的选择性指令调优方法SelectIT,可以在不需要额外资源的情况下,利用LLM自身的不确定性特征,有效地选择高质量的指令调优数据,大幅提升LLMs的性能,并在不同基础模型和领域任务中展现了良好的鲁棒性。该方法在理论创新和实用应用价值方面都有较高水平,值得关注和使用。

—第86篇----

文章名称

🔍 关键词: stochastic bilevel optimization, unbounded smoothness, accelerated algorithm

链接1

摘要: 本文研究了一类具有非凸上层函数和强凸下层问题的随机双级优化问题。这类问题在文本分类等序列数据学习中有重要应用。现有算法需要 $\widetilde{O}(1/\epsilon^4)$ 次随机梯度或 Hessian/Jacobian-vector 计算才能找到 $\epsilon$ -驻点。本文提出了一种新的加速双级优化算法 AccBO。该算法通过归一化随机梯度下降和带有递归动量的下层 Nesterov 加速梯度下降来更新变量。我们证明了当下层随机梯度方差为 $O(\epsilon)$ 时, AccBO 算法能以 $\widetilde{O}(1/\epsilon^3)$ 的查询复杂度找到 $\epsilon$ -驻点。实验结果验证了该算法的理论加速效果, 并显著优于基准算法。

总结: 本文提出了一种新的加速双级随机优化算法, 在下层随机梯度方差有界的情况下, 能够以更好的收敛速度找到驻点。

[arXiv:2409.19212]

[git]

[期刊]

【领域】机器学习、优化理论

[推荐指数：4]

该文章提出了一种新的加速算法, 针对双级随机优化问题中函数具有无界平滑性的情况, 在理论上实现了收敛速度的加速。相较于现有方法, 该算法的查询复杂度更低, 且实验效果也得到验证, 具有一定的创新性和应用价值。作为理论研究人员, 我很感兴趣这方面的工作, 值得重点关注和推荐。

—第87篇----

Making AI Less “Thirsty”: Uncovering and Addressing the Secret Water Footprint of AI Models

🔍 关键词: Artificial Intelligence, Water Footprint, Sustainability, Resource Efficiency

[http://arxiv.org/pdf/2304.03271v4]

摘要: 这篇文章关注了人工智能(AI)模型的水足迹问题,即训练AI模型所消耗的水资源。作者指出,虽然AI的碳排放已经受到公众的密切关注,但其水足迹却鲜为人知。以GPT-3模型为例,在微软位于美国的数据中心训练该模型会直接蒸发70万升纯净淡水,但这一信息一直被隐藏。更令人担忧的是,到2027年全球AI需求预计将占用42-66亿立方米的水资源,相当于丹麦4-6年的全部水资源用量或英国一半的用水量。作者提出了一种估算AI水足迹的原则性方法,并讨论了AI运行时水效率的时空多样性。最后,作者强调需要全面解决AI的水足迹和碳足迹问题,实现真正可持续的AI发展。

总结: 该文章阐释了人工智能模型训练对水资源的巨大需求,呼吁AI行业关注并应对自身的水足迹问题,实现真正意义上的可持续发展。

###【arXiv:2304.03271】
###【-】
###【-】
###【计算机科学、机器学习、人工智能、资源效率、可持续发展】

[4]

这篇论文深入分析了人工智能在训练过程中对水资源的大量消耗,这是一个鲜为人知但十分重要的问题。作者提出了一种测算AI水足迹的方法,并讨论了相关时空特性,对于推动AI行业实现可持续发展具有重要意义。该研究创新性强,实用性高,值得进一步关注和推广。

—第88篇----

文章名称

🔍 关键词: Quantum Reservoir Computing, Risk Bounds, Rademacher complexity

http://arxiv.org/pdf/2501.08640v1

摘要: 我们提出了一种使用Rademacher复杂性对几类量子储备进行概括性错误界定的方法。我们给出了两种特定量子储备类的参数相关的界限。我们分析了概括性界限如何随着量子比特数目的增加而变化。将我们的结果应用于具有多项式读出函数的类别,我们发现风险界限会随着训练样本数量的增加而收敛。我们界限中对量子储备和读出参数的明确依赖可用于在一定程度上控制概括性误差。需要注意的是,这些上限随量子比特数量呈指数级增长。对Rademacher复杂性的上限可应用于满足少量假设的其他储备类,这些假设涉及量子动力学和读出函数。
总结: 该论文提出了一种基于Rademacher复杂性的量子储备计算的概括性错误界限方法,为理解和控制该类模型的性能提供了理论依据。

【arXiv编号: 2501.08640】

【领域: 机器学习】

[推荐指数: 4]

该论文通过理论分析给出了量子储备计算模型的概括性错误界限,为该领域的发展提供了重要指引。论文涉及的方法创新性强,对后续研究具有一定的指导意义。此外,结果还可以应用于其他类型的量子储备模型,具有较强的普适性。在学术创新和实用性方面,该论文值得推荐。

—第89篇----

MEMO: Fine-grained Tensor Management For Ultra-long Context LLM Training

🔍 关键词: LLM, long context training, memory management, activation recomputation, memory fragmentation

http://arxiv.org/pdf/2407.12117v3

摘要: 该论文提出了MEMO, 一种用于大语言模型(LLM)长上下文训练的细粒度激活内存管理框架。该框架通过在前向传播后将内存消耗大的激活转移到CPU内存,并在反向传播时取回, 以最大化计算和内存的利用率。此外,它还采用双层混合整数规划(MIP)方法来优化跨transformer层的内存重复利用,从而解决内存碎片化问题。实验结果表明,与Megatron-LM和DeepSpeed相比,MEMO实现了1.97倍和1.80倍的模型浮点运算利用率(MFU)提高。这种改进归功于MEMO细粒度的激活内存管理,使得它能够有效地在8个A800 GPU上训练7B LLM,达到52.30%的MFU。

总结: 该论文提出了MEMO框架,通过细粒度的激活内存管理和优化内存重复利用,显著提升了LLM长上下文训练的计算效率。

###【arXiv编号: 2407.12117】
###【无git】
###【发表于期刊】
###【领域：机器学习, 分布式计算】

[推荐指数：5]

该论文针对LLM长上下文训练过程中的内存瓶颈问题提出了创新性的解决方案,通过细粒度的激活内存管理和内存碎片化优化,极大提升了训练效率,实现了在有限GPU资源下训练超大规模LLM的能力,具有很强的实用价值和创新性。

—第90篇----

Dynamic Localisation of Spatial-Temporal Graph Neural Network

🔍 关键词: cs.LG

[http://arxiv.org/pdf/2501.04239v3]

摘要: 本文提出了一种动态定位的时空图神经网络(DynAGS),能够动态建模时空依赖关系,提高模型的表达能力、灵活性和系统效率,尤其适用于分布式部署。DynAGS包括动态定位、时变空间图和个性化定位等核心模块,由一个轻量级的中心模块 Dynamic Graph Generator 来协调整合,该模块可以以节点无关的方式整合历史信息,增强当前时刻节点的特征表示,从而生成动态稀疏图,支持个性化定位。实验结果表明,DynAGS在两种主流的时空图神经网络架构和9个真实数据集上都优于现有基准,验证了动态建模空间依赖关系的有效性。

总结: 本文提出了一种动态定位的时空图神经网络DynAGS,能够动态建模时空依赖关系,提高模型性能,尤其适用于分布式部署。

###【arXiv:2501.04239】
###【git】
###【期刊】
###【领域: 时空数据建模、分布式部署】

[推荐指数：5]

该文章提出了一种创新的动态时空依赖建模方法,通过轻量级的中心模块Dynamic Graph Generator实现了时空依赖的动态建模,大幅提升了模型的表达能力、灵活性和系统效率,在几个公开数据集上实验效果显著,对于时空数据建模和分布式部署有重要意义。

—第91篇----

SWSC: Shared Weight for Similar Channel in LLM

🔍 关键词: cs.LG, cs.CL

[http://arxiv.org/pdf/2501.08631v1]

摘要: 这篇论文提出了一种名为SWSC的大语言模型压缩方法。SWSC基于相似通道权重共享的概念,使用K-Means聚类算法对模型权重进行通道级别的聚类,从而选择代表性向量来替代每个聚类中的所有向量,显著减少了模型参数数量。但是这种近似还原会不可避免地损害模型性能,作者采用奇异值分解的方法来补偿压缩带来的准确性下降。实验结果表明,这种方法可以在低精度条件下有效确保压缩后的大语言模型的性能。总结: 该方法通过K-Means聚类和奇异值分解实现大语言模型的高效压缩,确保在低精度下的模型性能。

[arXiv:2501.08631]

【领域】计算机科学 - 机器学习

[推荐指数: 4]

该研究提出了一种创新性的压缩大语言模型的方法,能够在大幅减少参数数量的同时保持良好的模型性能。这对于在资源受限的环境中部署大语言模型具有重要意义。该方法利用了模型内部的通道相似性,采用聚类和低秩近似的技术实现高效的压缩,并通过实验验证了其有效性。这种压缩技术在减少模型部署成本和提高能效方面具有广泛应用前景。

—第92篇----

OminiControl: Minimal and Universal Control for Diffusion Transformer

🔍 Keywords: diffusion transformer, image conditioning, subject-driven generation, spatially-aligned conditions

http://arxiv.org/pdf/2411.15098v4

摘要: 论文介绍了 OminiControl，一个非常通用和参数高效的框架,可以将图像条件集成到预训练的扩散变换器(DiT)模型中。其核心是利用参数重用机制,使DiT能够使用自身作为强大的主干网络来编码图像条件,并使用其灵活的多模态注意力处理器进行处理。与依赖于复杂架构的额外编码器模块的现有方法不同,OminiControl(1)仅增加约0.1%的额外参数就可以有效高效地合并注入的图像条件,(2)以统一的方式解决了各种图像条件任务,包括主题驱动生成和空间对齐条件(如边缘、深度等)。值得注意的是,这些功能是通过使用由DiT本身生成的图像进行训练而实现的,这对于主题驱动生成特别有益。广泛的评估表明,OminiControl在主题驱动和空间对齐条件生成方面都优于现有的基于UNet和DiT的模型。此外,我们还发布了我们的训练数据集Subjects200K,这是一个包含超过20万个身份一致图像的多样化集合,以及一个高效的数据合成管道,以推进主题一致性生成研究。

总结: OminiControl是一个通用和高效的框架,将图像条件集成到预训练的扩散变换器模型中,在主题驱动和空间对齐条件生成任务中表现优秀。

[arXiv:2411.15098]

[git]

[期刊]

【领域】计算机视觉、人工智能、机器学习

[推荐指数：4]

OminiControl 提出了一种新颖的、参数高效的集成图像条件的方法,可以广泛应用于多种图像生成任务,如主题驱动和空间对齐条件生成。它克服了现有方法依赖复杂编码器模块的局限性,表现出优秀的效果。论文提出的核心思路具有创新性,且在实际应用中具有很高的实用价值,值得进一步探索和推广。

—第93篇----

文章名称

🔍 关键词: Transformer, Multivariate Time Series, Anomaly Localization

http://arxiv.org/pdf/2501.08628v1

摘要: 本文提出了一种基于transformer的多元时间序列异常定位模型。随着cyber-physical系统和物联网的发展,大量的多元时间序列数据被采集,异常诊断变得非常重要。虽然异常检测取得了很大进步,但异常定位仍然是一个未被充分探索的领域,对于智能决策至关重要。本文提出了一种新的异常定位方法,通过深入分析注意力机制在正常和异常情况下的学习行为,提出了一种新的异常评分指标STAS,可以捕捉个体异常行为和序列之间的依赖关系,从而实现更好的定位性能。此外,SFAS通过分析异常周围的统计特征来补充STAS,两者的组合有助于降低误报率。实验表明,该模型在异常检测和定位任务上优于现有方法。
总结: 基于transformer的多元时间序列异常定位方法,通过空间-时间异常评分和统计特征异常评分实现了较高的定位性能。
###【arXiv:2501.08628v1】
###【计算机科学】

[推荐指数：4]

该文章针对多元时间序列异常检测和定位提出了创新性的解决方案,利用transformer的注意力机制深入分析了异常行为,提出了两个新的异常评分指标,在实验中取得了良好的效果。该模型具有较强的适用性和实用价值,值得进一步探讨和应用。

—第94篇----

这是一篇关于使用扩散模型作为网络优化器的研究论文。

文章名称

🔍 关键词: 扩散模型, 网络优化, 生成模型, 无监督学习

链接1

摘要: 网络优化是物联网网络中的一个基本挑战,通常具有复杂的特性,使得这些问题很难解决。最近,生成扩散模型(GDMs)已经成为一种有前景的新方法来解决网络优化问题,具有直接解决这些优化问题的潜力。然而,GDMs在这个领域的应用还处于初级阶段,理论研究和实证发现都缺乏。在这项研究中,我们首先探讨了生成模型的内在特征。接下来,我们提供了一个简明的理论证明和直观演示,说明生成模型相对于判别模型在网络优化中的优势。基于这个探索,我们将GDMs实现为优化器,目标是学习给定输入的高质量解决方案分布,并在推理过程中从这些分布中采样,以逼近或达到最优解。具体而言,我们利用降噪扩散概率模型(DDPMs)并采用无分类器引导机制来管理基于输入参数的有条件引导。我们在三个具有挑战性的网络优化问题上进行了广泛的实验。通过研究各种模型配置和GDMs作为优化器的原理,我们证明了克服预测误差并验证生成解决方案收敛到最优解的能力。我们在GitHub上提供了代码和数据。

总结: 这篇论文提出将扩散模型用作网络优化器,通过理论分析和实验验证了生成模型相对于判别模型在网络优化中的优势,并针对三个具有挑战性的网络优化问题进行了大量实验,证明了扩散模型作为优化器的有效性。

[arXiv编号:2411.00453]

[Git: https://github.com/qiyu3816/DiffSG]

###【领域】计算机科学, 机器学习

[推荐指数：4]

这篇论文提出了一个创新的基于扩散模型的网络优化框架,在理论和实践两个层面都有较好的分析和验证,展现了生成模型在网络优化领域的应用前景,对于相关研究有一定的价值和借鉴意义。

—第95篇----

CrossFi: A Cross Domain Wi-Fi Sensing Framework Based on Siamese Network

🔍 关键词: cs.CV, cs.AI, cs.LG, eess.SP

http://arxiv.org/pdf/2408.10919v3

摘要: 该文提出了一种基于 Siamese 网络的跨域 Wi-Fi 感知框架 CrossFi。该框架可以在不同的环境和少样本场景下都表现出色,包括少样本学习、零样本学习以及少样本新类别场景。其核心组件是一个称为 CSi-Net 的样本相似度计算网络,利用注意力机制捕捉相似度信息,优于直接计算距离或余弦相似度。此外,还开发了一个称为 Weight-Net 的模块,可以为每个类别生成一个模板,从而使 CrossFi 能够应用于不同的场景。实验结果表明,CrossFi 在各种场景下都取得了最先进的性能。

总结: 提出了一种基于 Siamese 网络的跨域 Wi-Fi 感知框架 CrossFi,在各种场景如少样本学习、零样本学习和少样本新类别识别中表现出色。

[arXiv:2408.10919]

[Git: https://github.com/RS2002/CrossFi]

领域

[推荐指数：4]

该论文提出了一种创新性的跨域 Wi-Fi 感知框架 CrossFi,可以在不同环境和少样本场景下取得优秀的性能。该框架利用 Siamese 网络和注意力机制解决了域偏移问题,并提出了一个Weight-Net模块来适应不同场景。相比现有方法,CrossFi 在各种评测任务上都取得了最先进的结果,展现了良好的适应性和泛化性。总体来说,这是一篇有价值且具有创新性的工作。

—第96篇----

A Learning Algorithm That Attains the Human Optimum in a Repeated Human-Machine Interaction Game

🔍 Keywords: Inverse Problem, Human-Machine Interaction, Learning Algorithm

PDF Link

摘要: 当人类与基于学习的控制系统互动时,常见的目标是最小化人类已知的成本函数。例如,外骨骼装置可能会通过自适应来尽量减少人类的能量消耗。传统的合成学习算法方法是解决逆问题来推断人类的成本。然而,这些问题可能会存在病态性、难以解决或对问题数据敏感。在这里,我们提出了一种基于游戏论的学习算法,通过观察人类的行为来找到成本最小值,从而避免了解决逆问题的需要。我们在大量人工试验中评估了算法的性能,在标量和多维游戏实例中都展示了持续收敛到预设人类成本函数的最小值。我们最后概述了未来对这些结果的理论和实证扩展的方向。

总结: 这篇文章提出了一种基于游戏理论的学习算法,能够在人机交互中观察人类行为,从而找到目标人类成本函数的最小值,避免了解决逆问题的需要。

###【arXiv:2501.08626】
###【无】
###【无】
###【计算机科学, 人机交互, 机器学习】

[推荐指数：4]

该文章提出了一种创新的机器学习算法,能够在人机交互场景中,通过观察人类行为来学习并优化人类的目标函数,无需预先解决逆问题。这种方法不仅有理论意义,在诸如外骨骼辅助系统等应用场景也具有重要实用价值。该算法在大量人体实验中均表现出良好的收敛性和稳定性,体现了很强的创新性和实用性。因此给予较高的推荐评分。

—第97篇----

此文章属于计算机机器学习领域。

摘要: 机器学习模型通常依赖于简单的虚假特征 - 与目标相关但与之无因果关系的训练数据模式,如前景分类中的图像背景。这种依赖通常会导致少数群体和多数群体之间测试性能的不平衡。在这项工作中,我们通过记忆力的角度,更深入地研究了造成这种不平衡性能的根本原因。记忆力是指能够准确预测训练集中的"非典型"示例(少数群体),但无法在测试集中实现同样的精度。本文系统地展示了网络中少量神经元中存在广泛的虚假特征,提供了有史以来第一个证据,即记忆可能会导致不平衡的群组性能。通过三个实验来源的趋同实证证据,我们发现少量神经元或通道具有记忆少数群组信息的特性。受这些发现的启发,我们提出了一个假设:不平衡的群组性能是"嘈杂"的虚假记忆局限于少数神经元的副产品。为了进一步证实这一假设,我们展示通过在训练期间消除这些不必要的虚假记忆模式的新框架,可以显著影响少数群组的模型性能。我们在各种架构和基准上的实验结果为如何编码核心和虚假知识提供了新的见解,为未来研究消除对虚假相关性的鲁棒性奠定了基础。

总结: 本文探讨了机器学习模型对虚假特征的依赖,导致了模型在少数群体和多数群体上性能的不平衡,并提出了一种新的框架,通过消除不必要的虚假记忆模式来提高少数群体的性能。

[arXiv:2501.00961v2]
[git:https://github.com/chenyu-you/silent-majority]
[期刊: 尚未发表]

领域: 计算机机器学习

推荐指数: 4

本文提出了一个新的框架来解决机器学习模型存在的虚假特征问题,对提高模型在少数群体上的性能有重要意义,具有较高的创新性和实用价值。

—第98篇----

CT-PatchTST: Channel-Time Patch Time-Series Transformer for Long-Term Renewable Energy Forecasting

🔍 关键词: CT-PatchTST, Channel-Time Patch Time-Series Transformer, Renewable Energy Forecasting

链接1

摘要: 该论文提出了一种名为CT-PatchTST的深度学习模型,用于预测光伏和风能系统的电力输出。与原有的Patch Time-Series Transformer(PatchTST)模型采用的是独立通道(CI)方法不同,CT-PatchTST模型能够更好地处理通道之间的相关性,同时保留CI方法的优势。研究表明该模型可以提供精确可靠的能源预测,有助于提高可再生能源系统的可预测性,促进其在电网中的广泛应用。总结: 一种新型的时间序列模型CT-PatchTST,能够提高可再生能源系统的长期电力输出预测精度。

###【arXiv编号】2501.08620
###【git】无
###【期刊】无
###【领域】机器学习、可再生能源预测

[推荐指数：4]

该论文提出了一种创新的深度学习模型CT-PatchTST,能够有效地预测光伏和风能系统的长期电力输出,在提高可再生能源预测精度方面具有重要意义。模型结构新颖,能够捕捉通道之间的相关性,优于原有的PatchTST模型。同时,论文对模型的预测性能做了严格的分析评估,证明了其可靠性和实用性。整体而言,这项工作对于促进可再生能源的广泛应用具有积极的贡献。

—第99篇----

RLHS: Mitigating Misalignment in RLHF with Hindsight Simulation

🔍 关键词: cs.LG, cs.AI, cs.CL

http://arxiv.org/pdf/2501.08617v1

摘要: 本文提出了一种基于回溯模拟的强化学习算法RLHS,以缓解现有RLHF方法容易导致的目标错配问题。RLHF通常依赖于评估者的即时反馈,这可能无法准确反映行为对用户效用的长期影响。相反,RLHS首先模拟可能的结果,然后根据事后的反馈来评估哪些行为是真正有益的。理论分析表明,这种方法可以减轻目标错配,提高用户效用。实验结果也证实了RLHS在两种常用的RLHF算法上表现更优,在帮助用户达成目标和获得满意度方面都明显优于RLHF。这凸显了关注长期后果对于缓解RLHF中的目标错配的重要性。

总结: RLHS是一种新的强化学习算法,通过引入事后的回溯模拟,可以有效缓解RLHF中的目标错配问题,提高了系统的长期可靠性和用户满意度。

###【arXiv编号: 2501.08617】
###【git】
###【期刊】

###【领域】计算机科学人工智能自然语言处理

[推荐指数：5]

该文提出了一种新的强化学习框架RLHS,通过引入事后的回溯模拟,成功缓解了现有RLHF方法容易导致的目标错配问题。理论分析和实验结果都表明,RLHS可以显著提高系统的长期性能和用户满意度。这对于构建可靠的通用人工智能系统具有重要意义,值得高度关注和推广。

—第100篇----

文章名称

Towards Aligned Data Forgetting via Twin Machine Unlearning

🔍 关键词: machine unlearning, data forgetting, alignment, twin problem

http://arxiv.org/pdf/2501.08615v1

摘要: 现代隐私法规引发了机器遗忘的发展,这是一种能够有效遗忘特定训练数据的技术。在之前的遗忘方法中,``数据遗忘’'的概念通常被解释和实现为在这些数据上实现零分类准确率。然而,机器遗忘的真正目标是在遗忘模型和参考模型之间实现对齐,即鼓励它们具有相同的分类准确率。另一方面,参考模型通常由于其泛化能力而表现出非零分类准确率。为了实现对齐数据遗忘,我们提出了一种Twin Machine Unlearning(TMU)方法,其中定义了与原始遗忘问题相对应的孪生遗忘问题。因此,在孪生问题上训练的泛化标签预测器可以转移到原始问题,从而促进对齐数据遗忘。综合的经验实验表明,我们的方法显著增强了遗忘模型与参考模型之间的对齐。

总结: 本文提出了一种机器遗忘方法Twin Machine Unlearning (TMU),可以在遗忘数据的同时保持模型性能和参考模型的对齐。

###【arXiv:2501.08615】
###【无git信息】
###【无期刊信息】
###【领域】: 机器学习