用于运筹学的大语言模型#

LLM在自然语言理解和复杂推理方面的卓越能力最近推动了它们在运筹学中的应用。一个核心挑战在于如何有效地将这些自然描述的优化问题转化为求解器可以处理的精确数学模型。当前的学术探索主要遵循两条技术路径 Xiao et al. (2025)：一条路径涉及推理增强方法，通过精心设计的提示词引导通用LLM进行建模。例如，X-of-Thought方法（例如，Autoformulation使用的树搜索推理 Astorga et al. (2025)）和多专家系统（例如，Chain-of-Experts Xiao et al. (2024) 和 OptiMUS Ahmadi-Teshnizi et al. (2024)）。第二条路径专注于领域特定微调，模型在专用数据集上进行微调以增强其专业能力。诸如ORLM Huang et al. (2025a) 和 LLaMoCo Ma et al. (2024) 等研究表明，微调后的模型可以超越GPT-4等通用LLM。在此基础上，LLMOPT Jiang et al. (2025) 通过引入五元组形式作为通用问题定义范式并采用Kahneman-Tversky优化（KTO）进行模型对齐，进一步推进了这一方向，提高了模型的泛化能力。

面向运筹学的数据合成#

然而，上述两条技术路径都高度依赖高质量数据集。因此，研究人员开始探索数据合成技术，大致分为以问题为中心和以模型为中心的方法 Xiao et al. (2025)。前者以OR-Instruct Huang et al. (2025a) 为例，通过修改现有问题来增强数据。后者优先考虑首先生成模型，然后反向构建问题描述，从而更好地控制难度和正确性。例如，Re-Socratic Yang et al. (2025b) 方法从形式化证明中反向生成问题，而OptiMath Lu et al. (2025) 和 MILP-Evolve Li et al. (2025) 则直接从模型代码或类型生成。同时，学术界发布了一些评估基准，包括NL4Opt、MAMO和IndustryOR。然而，最近的研究发现这些广泛使用的基准存在惊人的高错误率（某些数据集的错误率超过50% Xiao et al. (2025)），严重损害了评估的可靠性。为了解决数据质量这一瓶颈，本研究创新性地清洗并构建了一批高质量的优化建模数据，为训练和评估更可靠的优化模型奠定了坚实基础。

过程奖励模型#

过程奖励模型 Cobbe et al. (2021); He et al. (2024); Zhang et al. (2025b;a) 通过对中间推理步骤进行评分来提供过程级监督，引导模型逐步推理，提高逻辑一致性和准确性。基于这一能力，PRM已成功应用于Best-of-N采样 Wang et al. (2025) 和离线数据选择 Xie et al. (2023)，显著提高了推理质量和模型优化。代表性工作如Skywork-PRM He et al. (2024) 和Qwen2.5-Math-PRM Zhang et al. (2025b) 结合了人工标注和合成奖励来评估数学、科学和编程领域的性能。它们在分布外推理上常常失败。Zhu et al. (2025) 通过RetrievalPRM解决了这个问题，这是一个使用问题和步骤级检索来提高泛化能力的过程奖励模型。除了通用领域，PRM也被扩展到垂直领域；例如，Fin-PRM Zhou et al. (2025) 将PRM适配到金融领域，具有轨迹感知、领域特定的奖励建模。将PRM应用于垂直领域需要领域特定知识；因此，我们针对运筹学的特点合成了数据集并进行了训练。

3.1 数据集构建#

高质量的数据集对于确保PRM监督的有效性至关重要。我们提出了一种更严格的数据集构建方法。具体来说，我们首先通过仔细的筛选和多轮检查在第3.1.1节中创建一个更干净的种子数据集。然后，我们在第3.1.2节中利用这个精选的种子数据集生成多样且准确的过程标注数据。

3.2 面向OR问题的生成式PRM#

传统的PRM 通常输出一个标量分数来表示判断。它们采用逐步评估方法。首先，为响应中的每个推理步骤分配一个标量分数。然后，通过加权和或取最小值等方法聚合这些分数来计算最终奖励。然而，传统的PRM通常只为每个步骤分配一个标量值。这对于像运筹学这样的复杂任务是不够的。

这类任务需要详细分析变量关系（例如，$x~over~S$），约束满足 $(g(x) \leq c)$ 以及目标函数 $f(x)$ 的逻辑结构。此外，虽然发现代码生成中的语法错误等问题依赖于大型语言模型的生成能力，但一个简单的分数不足以正确捕捉这些潜在问题，尤其是当代码必须与规范形式 $\min_{x} f(x)~s.t.~g(x) \leq c$ 对齐时。

生成式PRM 用自然语言判断取代了诸如正确或不正确之类的二元标签。在推理过程中，模型为每个推理步骤生成文本批评和判断，实现了可解释的逐步评估。受GM-PRM Zhang et al. (2025a) 的启发，我们采用了一种为运筹学任务量身定制的生成式过程奖励建模方法。我们的模型不为推理步骤分配标量分数，而是为解决方案的每个组件生成自然语言批评和判断。这使得基于领域特定逻辑的细粒度、可解释的评估成为可能。

具体来说，给定一个优化问题 ($p = (\mathcal{S}, \theta , x, f(x), g(x) \leq c)$) 及其逐步解决方案，模型按顺序分析四个关键组件：(1) 变量定义（在 ($\mathcal{S}$) 上的 (x)，由 ($\theta$) 参数化），(2) 目标函数 ($f(x)$) 和约束条件 ($g(x) \leq c$)，(3) 代码实现（如果有），以及 (4) 最终输出。对于每个组件，它生成一个简短的目的陈述，一个对关键问题的集中分析，以及一个二元判断“正确”或“不正确”。如果任何组件被判断为不正确，模型仅输出第一个有缺陷部分的修正版本。

3.3 训练目标#

我们的训练过程分为两个主要阶段，以有效利用我们的OR-ProcessQA数据集。我们首先使用监督微调（SFT）来教模型生成批评的基本格式，然后使用直接偏好优化（DPO）进行对齐阶段，以完善其逻辑判断。

4.1 实验设置#

模型。 我们评估了OR-PRM应用于几个领先语言模型时的性能，包括Qwen2.5系列（7B、14B和32B）以及LLMOPT Jiang et al. (2025)，一个专为运筹学定制的专业模型。我们选择Qwen2.5是因为它提供了完整的模型大小范围，使我们能够研究扩展效应，并且它在最近的LLM研究中展示了强大的推理能力和广泛的应用。

基准。 我们在一组优化基准上评估了模型性能。然而，即使是运筹学中的基准也包含严重错误 Xiao et al. (2025); Jiang et al. (2025)。为了提供公平的评估并防止误导性答案，我们使用了来自Xiao et al. (2025) 的清洗后基准，以确保我们结果的可靠性，包括Industry OR Huang et al. (2025a)、Easy-LP Huang et al. (2025b)、Complex-LP Huang et al. (2025b)、NL4LP AhmadiTeshnizi et al. (2024)、NL4OPT Ramamonjison et al. (2022)。

训练细节。 为了训练OR-PRM，我们使用Qwen2.5-7B-Coder作为基座模型。训练过程在八块Nvidia A100 GPU上分两个阶段进行，使用DeepSpeed ZeRO-2和bfloat16精度。首先，我们以2e-5的学习率进行监督微调。之后，模型以4e-5的学习率和0.2的beta值进行直接偏好优化（DPO）。在两个训练阶段中，每设备的批量大小均为2。

推理细节。 我们在两种互补的推理设置下评估OR-PRM。第一种侧重于选择，即生成多个候选推理路径，OR-PRM识别出最可靠的那个（Best-of-N采样）。第二种强调精炼，OR-PRM批评中间步骤并引导模型改进解决方案（建模-批评-代码生成流程）。对于评估，正确性通过数值验证，并且由于许多问题允许多种求解路径，我们在报告性能时只比较最终的最优值。

BEST-OF-N 采样。 默认情况下，我们设置 (N = 8)。模型以温度1.0生成 (N) 条不同的思维链 CoT Wei et al. (2022) 推理路径。OR-PRM将每条路径中的每个推理步骤评估为正确或错误，并选择包含最多正确步骤的路径，倾向于最连贯和准确的推理轨迹。

建模、批评和代码生成流程。 在这种设置下，基座语言模型遵循一个结构化的三阶段工作流程，由OR-PRM引导。首先，模型通过逐步推理构建一个正式的问题建模。接下来，OR-PRM通过识别潜在错误或不一致性来批评每个推理步骤。最后，原始建模及其批评被拼接起来并反馈给模型，以指导生成满足预定义输入输出规范的可执行Python代码。这个过程通过迭代反馈强制执行一个自我修正、实现感知的推理轨迹。

为了全面评估我们提出的流程的有效性，我们采用了两个主要评估指标：pass@1，衡量首次尝试的正确性，反映模型即时的问题解决能力；以及pass@8，评估当允许最多八次尝试时模型的上限潜力，从而揭示其在给定搜索空间内自我修正和迭代精化的能力。

表1：六个推理基准上的结果。实验结果表明，在Best-of-8评估策略下，使用OR-PRM作为评论家模型显著提高了推理性能。蓝色字体表示性能提升。

4.2 主要结果#

Best-of-N 采样。 如表1所示，OR-PRM在Qwen模型系列的不同规模上一致且显著地提高了推理性能。它在Qwen2.5 Yang et al. (2024) 系列（7B-32B）和专用模型LLMOPT Jiang et al. (2025) 上取得了均匀的提升，证明了其有效性和相对于模型大小的强扩展性。值得注意的是，在14B模型上，OR-PRM实现了近12.5%的最高平均提升。

此外，OR-PRM带来的性能提升在不同难度级别的任务中都一致显现。在最具挑战性的Complex-LP基准上，Qwen2.5-32B取得了令人印象深刻的24.2%的绝对提升。对于相对简单的基准如Easy-LP，14B模型实现了23.2%的大幅提升。即使对于已经在推理上进行了广泛优化并在困难任务上表现出强劲性能的LLMOPT，OR-PRM在Complex-LP上仍然贡献了额外的19.0%提升。这些结果进一步证实了OR-PRM在苛刻条件下准确识别和优先考虑高质量推理步骤的有效性。

建模-批评-代码流程的结果。 如图3所示，OR-PRM在著名开源模型Qwen-2.5-14B和先进的闭源模型GPT-4o上均表现出一致的显著性能提升。

最显著的提升尤其体现在具有挑战性的Complex-LP基准上，突显了OR-PRM解决复杂问题的强大能力。Qwen2.5-14B的pass@1准确率惊人地提升了23.4%，而最先进的GPT-4o也实现了8.1%的显著增长。pass@8的提升也很显著：Qwen2.5-14B大幅增长了36.1%，GPT-4o提升了6.3%。

这些提升突显了OR-PRM通过有效从初始失败中恢复正确解来提高推理上限的能力。即使第一次尝试失败，OR-PRM也能实现迭代修正，增强了在不确定性和复杂性下的稳健性。在较简单的Easy-LP基准上，它仍然产生了24%的一致的提升，展示了跨任务难度的可靠性。

OR-PRM的核心是其评论家组件——一个评估每个推理步骤的智能反馈循环。它强化正确的步骤，并精确诊断错误，提供有针对性的指导而非二元判断。这种细粒度的反馈帮助模型像人类学习者一样迭代精炼其推理，从而带来显著的准确率提升。这种交互式纠正是OR-PRM跨模型和任务广泛有效性的关键。

图3：OR-PRM增强了跨模型的优化能力。它在开源（Qwen2.5-14B）和闭源（GPT-4o）模型上均持续提升性能，并能够解决即使有8个样本仍未解决的问题。

4.3 消融研究#

在本节中，我们分析了通过DPO进行模型对齐的有效性，并检查了跨任务难度级别的性能趋势。结果呈现在表2中。

表2：消融结果。在Qwen2.5-14B上的结果。

模型对齐的有效性 我们的消融研究证实了直接偏好优化（DPO）在OR-PRM模型训练中的有效性。如表2所示，在SFT之上结合DPO的完整模型达到了51.0%的平均准确率。这代表了相对于仅SFT基线（43.0%）8.0%的绝对提升，证明了DPO在改进模型方面的关键作用。其他基线包括Qwen2.5（零样本）模型，它代表了没有经过任何SFT或DPO训练的原始基座模型性能，以及自一致性（过滤空值）方法，该方法在过滤掉那些未能产生有效数值目标值的路径后，对 (N = 8) 条路径进行多数投票。

跨任务难度级别的性能 如表2所示，OR-PRM在简单和具有挑战性的基准上均持续优于多数投票基线。这一性能表明，OR-PRM能够在简单和具有挑战性的基准上检测到推理路径中的绝大多数错误。

4.4 讨论#

我们进一步讨论了当前训练数据和细粒度判别能力方面的局限性，未来的方向如下所述。

我们的OR-PRM在新的OR-ProcessQA数据集上表现良好。然而，由于现有数据集不能用于PRM训练，很难进行比较。此外，我们的Best-of-N性能很强，但仍未达到理论上限。这一性能差距主要归因于我们当前数据集和模型的大小。因此，我们未来将扩展训练数据，使模型更擅长检测细微的推理错误。

C.1 现有数据集的采样统计#

表3：来自不同合成数据集的数据样本。

表3显示了几个数据集的错误率。我们还对Industry-OR进行了错误归因分析，发现大约84%的错误是建模错误（例如，遗漏约束、错误的目标函数或单位不匹配），11%是代码实现错误（例如，变量定义或逻辑错误），只有大约4%是结果不一致（即，输出解违反约束或不匹配计算值）。

C.2 构建种子数据集的细节#

代码执行 我们对生成的代码进行直接执行，然后评估两个标准：(1) 执行是否成功完成且没有错误，(2) 输出是否与真实值匹配。

约束满足 在此阶段，我们使用Qwen3-8B验证器来确认求解器数值解的可行性。验证器接收数学约束和解，并执行符号或数值代入以自动检查是否满足所有条件，如制造示例所示（图4）。

建模准确性 这最后也是最关键的阶段采用一个强大的LLM来评估数学公式是否忠实地捕捉了原始问题陈述的意图。它识别关键的语义缺陷，例如目标函数错位（例如，最大化总零件数而不是完整套数）。此检查确保模型不仅是可行的，而且在语义上也是正确的，如工厂生产示例所示（图5）。

C.3 最终种子数据集#

表4：来自不同合成的样本数据。

我们从四个来源采样数据：Opt-Math Lu et al. (2025)，IndustryOR Huang et al. (2025a)，Resocratic Yang et al. (2025b) 和 Evo-step Wu et al. (2025)。对于Opt-Math和Resocratic数据集，我们首先对初始数据应用k-greedy过滤。经过三阶段过滤和去重后，我们获得了包含8,656个实例的最终数据集。我们手动检查了最终数据中的100个样本，准确率约为96%。

图4：约束满足示例

图5：建模准确性示例：LLM检查建模是否与问题的预期含义一致。

D.1 蒙特卡洛树搜索的细节#

蒙特卡洛树搜索是一种用于大状态空间顺序决策的启发式搜索算法。在我们的OR-PRM中，我们将其用作自动化数据合成流程的第一阶段，以高效地生成大量候选推理步骤及其初步正确性标签。MCTS迭代地构建一个搜索树 ($T = (V, E)$)，其中每个节点 ($v \in V$) 代表一个部分解（即，一个推理前缀），每条边 ($(v, a) \in E$) 代表策略模型生成的一个推理步骤 (a)。

选择 从根节点（即原始问题）开始，算法递归选择子节点以平衡探索与利用。它采用以下应用于树的置信区间上界公式。

$a^{*} = \underset {a\in A(v)}{\arg \max}\left[Q(v,a) + c\cdot \sqrt{\frac{\ln N(v)}{N(v,a)}}\right] \quad (3)$

这里，($Q(v,a)$) 是从节点 ($v$) 采取行动 ($a$) 后达到最终正确答案的平均概率；($N(v)$) 和 ($N(v,a)$) 分别是节点 ($v$) 和边 ($(v,a)$) 的访问次数；($c$) 是控制探索强度的常数。

扩展 当搜索到达一个仍有未探索动作的叶节点 ($v_{l}$) 时，算法调用策略模型基于当前状态 ($v_{l}$) 生成一个新的推理步骤 ($a$)，从而创建一个新节点 ($v_{new}$) 并将其添加到树中。

模拟 从新扩展的节点 ($v_{new}$) 开始，算法执行一次或多次滚动模拟，通过提示策略模型自回归地生成一个完整的推理路径直到最终答案。模拟结果 ($z$) 是一个二元奖励：如果最终答案正确，则 ($z = 1$)，否则 ($z = 0$)。

反向传播 模拟结果 ($z$) 沿搜索路径反向传播，更新所有遍历节点的统计信息：

$\begin{array}{r}N(v)\leftarrow N(v) + 1\\ Q(v,a)\leftarrow Q(v,a) + \frac{z - Q(v,a)}{N(v,a)} \end{array} \quad (4)$

在OR-PRM数据合成流程中，MCTS的核心价值在于其自动化。我们配置了关键超参数以平衡探索多样性和效率：采样温度 ($\mathrm{T} = 1.0$)，Top-k采样 ($\mathrm{k} = 50$)，核采样（Top-p）($\mathrm{p} = 0.9$)，以及探索系数 ($\mathrm{c} = 1.0$)。通过这种结构化搜索，该算法从我们精心筛选的8000个种子问题中高效地生成了超过550,000个带有初步标签的候选推理步骤。这为后续阶段（由GPT-4o执行的结构化错误分析和基于共识的过滤）提供了充足的原材料。由MCTS生成的初步硬标签（0或1），结合GPT-4o的详细自然语言批评，最终产生了高质量、高可靠性的OR-ProcessQA数据集，为训练强大的生成式过程奖励模型OR-PRM奠定了坚实基础。

D.2 使用GPT-4o进行结构化错误分析#

为了生成我们生成式PRM所需的丰富的步骤级监督，我们采用GPT-4o作为专家标注器。

我们最初采样了大约40,000个数据点作为起始数据集。这最终的基于共识的过滤步骤被证明是高度选择性的，丢弃了大约50%的候选标注，产生了大约20,000个样本的高保真数据集。

我们检查了100个数据点的样本，发现批评者的判断在95%的情况下是正确的。