大语言模型（LLMs）在处理复杂推理和实时信息检索时面临两大挑战：知识局限性（无法获取最新外部知识）和检索灵活性不足（传统方法依赖固定检索流程）。现有方法如检索增强生成（RAG）和工具调用（Tool-Use）存在以下问题：
- RAG：单轮检索导致上下文不足，无法适应多轮交互场景。
- 工具调用：依赖大量监督数据，难以扩展。
SEARCH-R1，一种新的强化学习框架，使LLMs能够交替进行自我推理和实时搜索引擎交互。与现有的检索增强生成方法相比，SEARCH-R1通过强化学习优化LLMs展开，允许自主查询生成和战略利用检索信息。通过在七个数据集上的广泛实验，证明了SEARCH-R1显著增强了LLMs处理需要实时外部知识的复杂推理任务的能力。
核心方法
强化学习与搜索引擎整合
- 环境建模：将搜索引擎作为环境的一部分，LLM生成文本与检索交替进行。
- 算法支持：兼容PPO和GRPO算法，通过检索标记掩码（Retrieved Token Masking）提升训练稳定性。
SEARCH - R1的RL框架公式如下：
max π θ E x ∼ D , y ∼ π θ ( ⋅ ∣ x ; R ) [ r ϕ ( x , y ) ] − β D K L [ π θ ( y ∣ x ; R ) ∣ ∣ π ref ( y ∣ x ; R ) ] \max_{\pi_{\theta}} E_{x\sim\mathcal{D}, y\sim\pi_{\theta}(\cdot\mid x;\mathcal{R})}\left[r_{\phi}(x, y)\right]-\beta D_{KL}\left[\pi_{\theta}(y\mid x;\mathcal{R})||\pi_{\text{ref}}(y\mid x;\mathcal{R})\right] πθmaxEx∼D,y∼πθ(⋅∣x;R)[rϕ(x,y)]−βDKL[πθ(y∣x;R)∣∣πref(y∣x;R)]
其中， π θ \pi_{\theta} πθ是策略LLMs， π ref \pi_{\text{ref}} πref是参考LLMs， r ϕ r_{\phi} rϕ是奖励函数， D K L D_{KL} DKL是KL散度。
与现有的LLMs强化学习方法不同，SEARCH - R1明确结合了检索和推理的交替进行，即 π θ ( ⋅ ∣ x ; R ) \pi_{\theta}(\cdot\mid x;\mathcal{R}) πθ(⋅∣x;R)，可以看作 π θ ( ⋅ ∣ x ) ⊗ R \pi_{\theta}(\cdot\mid x)\otimes\mathcal{R} π
