在人工智能飞速发展的今天，大语言模型（LLMs）凭借其强大的语言处理能力在诸多领域大放异彩。检索增强生成（RAG）系统（面向企业RAG（Retrieval Augmented Generation）系统的多维检索框架）的出现，通过整合外部知识源进一步提升了 LLMs 的性能，使其能针对用户查询提供更准确、更具上下文相关性的回答，在众多知名应用中得到广泛采用。然而，这一系统并非坚不可摧，语料库中毒攻击成为了严重威胁其性能的安全隐患。在此背景下，RAG.html" title=TrustRAG>TrustRAG 应运而生，为解决 RAG 系统的安全问题提供了全新的思路和有效的解决方案。

一、RAG 系统的发展与困境

RAG 系统（RAG综述：探索检索增强生成技术的多样性与代码实践）的核心思想是通过从外部知识数据库中动态检索信息并与用户查询相结合，以提升 LLMs 回答的准确性和时效性。这一创新方法在诸如 ChatGPT、Microsoft Bing Chat、Perplexity AI 和 Google Search AI 等应用中得到了广泛应用，为用户带来了更优质的交互体验。但近期的一系列事件却暴露出 RAG 系统的脆弱性。从 Google Search AI 的不一致结果，到 ChatGPT 中出现的危险恶意代码注入，这些问题凸显了 RAG 系统在实际应用中面临的严峻挑战。

语料库中毒攻击是 RAG 系统面临的主要威胁之一。攻击者能够通过向知识数据库中注入恶意文档，劫持检索过程，使 LLMs 生成错误或具有欺骗性的信息，这严重违背了 RAG 系统提供可靠、准确回答的初衷。此外，互联网上大量的噪声和虚假信息增加了搜索引擎准确检索有用知识的难度，而 LLMs 本身在生成内容时也存在不可靠性，容易受到上下文中错误信息的误导。这些因素共同加剧了 RAG 系统的脆弱性。

二、RAG.html" title=TrustRAG>TrustRAG 框架的提出

为了应对 RAG 系统的上述漏洞，研究团队提出了 RAG.html" title=TrustRAG>TrustRAG，这是首个专门设计用于在多个恶意文档污染检索语料库的情况下，维持鲁棒且可信响应的防御框架。RAG.html" title=TrustRAG>TrustRAG 的设计目标是过滤掉检索器获取的恶意和无关文档，最终让 LLMs 生成更准确可靠的回答。

RAG.html" title=TrustRAG>TrustRAG 的工作流程分为两个关键阶段：Clean Retrieval（清洁检索）和 Conflict Removal（冲突消除）。在 Clean Retrieval 阶段，系统运用 K - means 聚类（k = 2），基于文档的嵌入分布来区分良性和潜在的恶意文档。攻击者在进行攻击时，恶意文档在嵌入空间中往往会紧密聚集，RAG.html" title=TrustRAG>TrustRAG 正是利用这一特性，通过 K - means 聚类算法分析文本嵌入的分布，识别出可能存在恶意文档的高密度簇。对于单次注入攻击，还引入了 ROUGE - L 分数来比较簇内相似度，以保留大部分干净文档，减少信息损失。

在 Conflict Removal 阶段，RAG.html" title=TrustRAG>TrustRAG 借鉴相关研究成果，利用 LLM 的内部知识。这部分知识反映了大量预训练和指令微调数据的共识，能够补充检索文档中可能缺失的信息，甚至反驳恶意文档，实现内部和外部知识的相互验证。首先，系统提示 LLM 生成内部知识，为保证可靠性和成本效益，仅进行单次 LLM 推理。接着，利用 LLM 整合内部生成和外部检索的文档信息，通过特定的提示让 LLM 识别一致信息、检测恶意信息，并将不可靠知识重新组合成更少的精炼文档。最后，再次提示 LLM 基于这些精炼文档生成最终答案，并通过比较各文档组答案的可靠性，选出最可靠的作为最终回答。

三、RAG.html" title=TrustRAG>TrustRAG 的实验验证

为了全面评估 RAG.html" title=TrustRAG>TrustRAG 的性能，研究团队进行了一系列严谨的实验。在实验设置方面，采用了 Natural Questions（NQ）、HotpotQA 和 MS - MARCO 三个基准问答数据集，每个数据集都有对应的知识数据库。同时，引入了两种流行的 RAG 攻击方式：语料库中毒攻击（PoisonedRAG）和提示注入攻击（PIA），并使用响应准确率（ACC）和攻击成功率（ASR）作为主要评估指标。

实验结果表明，在应对语料库中毒攻击时，现有的防御框架在恶意文档数量超过良性文档时往往失效，攻击成功率较高，响应准确率较低。而 RAG.html" title=TrustRAG>TrustRAG 凭借 K - means 过滤策略，能显著减少恶意文档，只有一小部分恶意文档进入 Conflict Removal 阶段。经过冲突消除后，RAG.html" title=TrustRAG>TrustRAG 能有效整合内部知识，利用一致文档组的信息推断最终答案，在多种攻击场景下都能保持较高的响应准确率，同时大幅降低攻击成功率。

对于提示注入攻击，RAG.html" title=TrustRAG>TrustRAG 将其视为语料库中毒攻击中毒文档数量为 1 的特殊情况，同样能够通过 Conflict Removal 阶段有效防御。此外，在不同的上下文窗口设置下，RAG.html" title=TrustRAG>TrustRAG 在干净场景和中毒场景中均表现出卓越的性能，准确率显著高于 Vanilla RAG，攻击成功率则远低于后者。

四、RAG.html" title=TrustRAG>TrustRAG的关键技术

1、K-means聚类算法

K-means聚类算法是一种常用的无监督学习算法，用于将数据集划分为K个簇。在RAG.html" title=TrustRAG>TrustRAG框架中，K-means聚类算法被用于对检索到的文档进行分组。通过计算文档之间的相似度，算法能够将相似的文档聚类在一起，从而便于识别并过滤掉潜在的恶意文本。

2、内部知识生成

为了解决内部知识与外部知识之间的冲突，RAG.html" title=TrustRAG>TrustRAG框架利用LLMs生成内部知识。通过提示LLMs根据特定问题或上下文生成相关知识，RAG.html" title=TrustRAG>TrustRAG能够获得与问题紧密相关的内部知识表示。这些知识表示有助于在可信度增强阶段解决知识冲突，提高响应的准确性。

3、知识冲突解决

在可信度增强阶段，RAG.html" title=TrustRAG>TrustRAG框架通过整合内部知识和外部检索到的知识来解决知识冲突。具体而言，当内部知识与外部知识存在不一致时，RAG.html" title=TrustRAG>TrustRAG会综合考虑两者的可靠性和相关性，选择最可信的知识作为最终答案的依据。这一过程有助于提高响应的可信度和准确性。

五、RAG.html" title=TrustRAG>TrustRAG 的意义与展望

RAG.html" title=TrustRAG>TrustRAG 的提出为解决 RAG 系统（微软最新研究：RAG（Retrieval-Augmented Generation）的四个级别深度解析）的安全问题提供了切实可行的方案，其在多个基准数据集上的出色表现证明了该框架的有效性和优越性。RAG.html" title=TrustRAG>TrustRAG 的即插即用架构使其能与任何 LLMs 立即集成部署，具有广泛的应用前景。

然而，随着人工智能技术的不断发展，攻击者的手段也会日益复杂多样。未来，需要持续关注 RAG 系统面临的新安全威胁，进一步优化 RAG.html" title=TrustRAG>TrustRAG 框架，提升其在更多复杂场景下的性能。例如，可以探索结合更多先进的检测技术和防御策略，提高对新型攻击的识别和抵御能力；也可以研究如何在保证鲁棒性和可信度的前提下，进一步降低 RAG.html" title=TrustRAG>TrustRAG 的运行成本，提高运行效率。

总之，RAG.html" title=TrustRAG>TrustRAG 作为增强 RAG 系统鲁棒性和可信度的创新框架，为人工智能领域在保障系统安全和可靠性方面迈出了重要一步，为未来 RAG 系统的发展和应用奠定了坚实基础。