过程奖励模型(Process Reward Model, PRM)对推理过程的每一步进行评分，而结果奖励模型(Outcome Reward Model, ORM)仅对最终答案打分。PRM能精确定位推理链中的错误步骤，为Best-of-N采样、树搜索和步骤验证提供细粒度信号，是提升大模型推理可靠性的关键技术。
ORM仅在推理链末端给出单一标量奖励(正确/错误)，训练数据获取成本低但信号稀疏；PRM对每个中间步骤打分，信号密集且可定位错误，但需要昂贵的步骤级标注。两者在数据效率、错误定位能力和计算开销上存在显著权衡。
PRM训练包含四大环节：人工步骤标注(给每个推理步骤打good/bad/neutral标签)、蒙特卡洛Rollout(从某步骤出发采样N次估计其价值)、步骤价值估计与训练数据构建、最终训练一个步骤分类器。Math-Shepherd等方法用MC rollout替代人工标注实现自动化。
Best-of-N是PRM最直接的推理应用：从模型采样N条候选解，用PRM对每条解的步骤分数聚合(乘积或最小值)，选取PRM分数最高的作为最终答案。相比随机选择，PRM引导的BoN在数学推理上可将Pass@1提升10-20%。
PRM作为价值函数驱动多种搜索算法：束搜索(Beam Search)保留Top-K步骤、MCTS用UCB平衡探索与利用、前瞻搜索展开多步评估未来回报、剪枝策略舍弃低分分支。相比线性BoN，树搜索能更高效地探索推理空间，在复杂推理任务上表现更优。
步骤验证(Step Verification)在推理过程中实时检查每步的正确性：自我验证让模型自评步骤、交叉检查用多个独立验证器投票、形式验证借助证明助手(Lean/Coq)严格证明、错误检测定位推理链中首个出错步骤。验证结果可触发重写或回溯。
PRM评估涵盖多个维度：Pass@K衡量前K个候选中的通过率、PRM精度考察步骤分类的准确率与召回、相关性分析检验PRM分数与真实正确性的相关性( Kendall/Spearman)、效率对比PRM引导搜索相对随机搜索的计算性价比。
PRM与步骤验证在多个推理密集场景中发挥作用：数学推理(多步推导每步可验)、代码生成(每行/每函数可编译测试)、科学推理(假设-推导-验证链)、多步规划(子目标分解与可行性检查)。在不同场景下PRM信号的获取方式与验证手段各有特点。