大型语言模型（LLM）已从根本上改变了密集检索，将其骨干网络从判别式编码器升级为生成式架构。然而，一个关键的脱节仍然存在：虽然LLM具备强大的推理能力，但当前的检索器主要将它们用作静态编码器，其复杂推理的潜力尚未被开发。为了解决这个问题，现有方法通常采用“重写-然后-检索”的流程，在检索前生成显式的思维链（CoT）推理过程。然而，这会导致难以承受的延迟。相反，利用潜在令牌（Latent Tokens）的隐式推理方法虽然高效，但由于缺乏显式监督，常常遭受语义退化的困扰。在本文中，我们提出了LaSER，一个新颖的自蒸馏框架，它将显式推理内化到密集检索器的潜在空间中。LaSER 在一个共享的LLM骨干网络上运行，引入了一种双视图训练机制：一个显式视图，显式地编码真实的推理路径；以及一个潜在视图，执行隐式的潜在思考。为了弥合这两个视图之间的差距，我们设计了一种多粒度对齐策略。除了标准的输出对齐之外，我们还引入了一种轨迹对齐机制，该机制将潜在路径的中间潜在状态与显式推理片段的语义进展同步。这使得检索器能够“静默”且有效地“思考”，而无需进行自回归文本生成。在领域内和领域外的推理密集型基准测试上的大量实验表明，LaSER显著优于最先进的基线模型。此外，跨不同骨干网络和模型规模的分析验证了我们方法的鲁棒性，证实了我们统一的学习框架对于引发有效的潜在思考至关重要。我们的方法成功地将显式CoT流程的推理深度与标准密集检索器的推理效率结合起来。

相关链接:

相关链接:

相关链接:

相关链接:

相关链接: