强化学习、策略学习与环境反馈底层图谱

从 State、Action、Reward、Policy、Value、Exploration 到 Offline RL、Imitation Learning、RLHF / RLVR 和机器人策略，理解智能体如何从环境反馈里学习行动

阅读定位: 这一页补 AI 底层理解线里的“行动学习机制”。它不替代后训练 / RLHF / DPO / RLVR，后者关注语言模型如何变成可协作助手；它也不替代具身智能 / 机器人，后者关注物理世界闭环。本页专注解释策略、奖励、环境、探索、验证器和离线数据怎样把“会预测”推进到“会行动”。

一、强化学习的最小闭环

State
当前状态

→

Policy
选择动作

→

Action
影响环境

→

Environment
状态转移

→

Reward
反馈信号

→

Update
更新策略

元素	它是什么	关键问题	在 AI 系统里的对应物
State	智能体对当前世界的表示	状态是否包含足够信息，是否有隐藏变量	上下文、传感器状态、任务进度、工具返回
Action	智能体可以采取的动作	动作空间是离散、连续，还是工具调用序列	文本 token、工具调用、代码补丁、机器人动作
Policy	从状态到动作的选择规则	策略是确定性、随机性，还是分层技能组合	模型权重、Agent 策略、机器人 policy
Reward	告诉系统动作好坏的反馈	奖励是否真实反映目标，是否会被钻空子	人类偏好、单元测试、任务成功率、安全规则
Environment	动作发生后会反馈新状态的世界	环境是否可模拟、可重置、可观测、可验证	游戏、代码仓库、浏览器、机器人场地、用户系统
Value	对未来回报的估计	短期奖励和长期收益如何权衡	任务价值评估、路径选择、长任务规划

一句话:

监督学习是在样本里学“应该输出什么”，强化学习是在环境反馈里学“这样做之后会发生什么、长期看值不值得”。

二、它和监督学习、后训练有什么不同

学习方式	训练信号	适合什么	主要风险
监督学习 / SFT	标准答案或示范动作	格式、分类、抽取、指令跟随、模仿专家轨迹	分布外泛化差，只会复刻示范
偏好优化 / DPO	chosen / rejected 偏好对	回答排序、风格、安全边界、助手行为倾向	偏好数据有偏会被放大
RLHF / PPO	奖励模型给分 + 策略更新	复杂偏好塑形、对话助手行为调整	奖励黑客、训练不稳定、KL 约束难调
RLVR	可验证奖励	数学、代码、工具执行、格式校验等能客观判断的任务	验证器覆盖不到开放式质量
经典 / 机器人 RL	环境交互、任务成功、成本、碰撞、能耗	控制、导航、游戏、机器人技能、自动决策	探索昂贵且危险，Sim2Real 差距大

和后训练页的边界

后训练 / 对齐机制解释 RLHF、DPO、RLVR 怎样塑造语言模型行为；本页解释这些方法背后的更通用机制：策略、奖励、环境、价值估计和探索。

三、MDP：把行动问题写成可学习结构

MDP 组件	直觉解释	常见工程问题
S: 状态空间	系统可能处在哪些状态	状态过大、部分可观测、历史依赖、上下文污染
A: 动作空间	系统能做哪些动作	动作太多、连续动作难控制、工具参数不稳定
P: 状态转移	采取动作后世界怎样变化	真实世界不可完全建模，仿真和现实不一致
R: 奖励函数	怎样衡量动作好坏	奖励稀疏、目标错配、被模型钻空子
γ: 折扣因子	未来收益要看多远	短视策略和长远收益之间取舍困难

为什么 MDP 有用:

它逼你把“智能”拆成状态、动作、反馈和长期价值，而不是笼统地说模型会不会推理。Agent、机器人、代码修复、自动驾驶、推荐系统都能用这个框架压一遍。

四、Reward Design：奖励函数是方向盘

稀疏奖励

只有任务成功或失败才给反馈
适合目标清晰的任务，但学习信号很少
机器人抓取、代码测试通过都常常稀疏

密集奖励

每一步都给局部进展分
训练更容易，但容易把策略带向捷径
比如只奖励“靠近目标”，可能学出碰撞路径

可验证奖励

用测试、验证器、约束检查判断是否正确
适合数学、代码、格式、工具执行
验证器越可靠，奖励越硬；覆盖越窄，适用越窄

人类偏好奖励

用标注、排序或反馈近似人类选择
适合开放式回答和风格边界
不是事实真值，必须和任务指标分开评估

最大坑:

系统会优化你写下来的奖励，而不是你心里真正想要的目标。奖励函数、验证器、评测集和安全约束如果口径错了，越会学习的系统越会把错误放大；这条机制可以继续看目标函数 / 奖励错配 / Goodhart。

五、探索、利用与安全边界

概念	解释	在 AI 系统里的体现	风险
Exploration	尝试不确定动作，寻找更好策略	Agent 尝试新工具路径、机器人尝试新抓取姿态	真实系统里探索可能产生副作用
Exploitation	使用当前最有把握的动作	选择已验证的提示、流程、技能或工具	可能陷入局部最优，无法发现更好方法
Safe Exploration	在边界内探索	沙箱、仿真、限速、只读工具、人工确认	边界太松危险，太紧学不到东西
Credit Assignment	判断成功或失败该归因给哪一步	长任务 Trace、工具调用链、机器人动作序列	奖励延迟时，很难知道是哪一步导致结果

为什么生产 Agent 难做强化学习

软件 Agent 的真实环境常常不可随便重置，错误工具调用会改数据、发消息、花钱或破坏状态。因此生产系统通常先用离线日志、沙箱、评测环境和人工审查做反馈，而不是直接在线探索。

六、Offline RL、模仿学习与机器人数据

方法	用什么数据	适合什么	限制
Imitation Learning	专家演示、遥操作轨迹、人工操作日志	机器人技能、流程自动化、驾驶行为、工具使用示范	只学到数据里出现过的行为，遇到新状态容易崩
Behavior Cloning	状态-动作对	把专家动作直接拟合成策略	误差会累积，偏离演示分布后难恢复
Offline RL	历史交互日志、成功失败轨迹、奖励记录	不能随便在线试错的系统	离线数据覆盖不足时，学到的策略可能过度乐观
Sim RL	仿真环境里的交互数据	游戏、机器人、自动驾驶长尾场景	Sim2Real 差距会让策略在现实里失效
Human-in-the-loop RL	人工反馈、接管、纠错和审批记录	高风险任务、长尾恢复、组织流程 Agent	反馈贵，且人类口径会漂移

和具身智能的关系:

具身智能里的策略学习很少只靠在线 RL。更常见的组合是遥操作演示 + 模仿学习 + 离线日志 + 仿真压力测试 + 小心的真实环境回放。

七、RL 在大模型时代的四种位置

位置	主要目标	典型反馈	相邻页面
后训练对齐	让语言模型更像有用、安全、可协作的助手	偏好、奖励模型、DPO、RLHF	后训练 / 对齐机制
可验证推理	让模型在数学、代码、工具任务上追求正确结果	验证器、单元测试、工具执行结果	推理模型 / Test-time Compute
Agent 任务执行	让系统在多步任务中选择更好的行动路径	任务完成率、Trace、人工接管、成本	Agent 系统
机器人和自动驾驶	让策略在物理环境里安全完成动作	成功率、碰撞率、接管率、仿真和真实评测	具身智能 / 机器人

八、评测：不要只看奖励变高

评测维度	看什么	为什么重要
任务成功	最终目标是否达成，是否可复现	奖励分数高不等于真实任务成功
安全约束	越权、碰撞、破坏状态、敏感操作、误触发	探索会放大系统副作用
长期收益	多步任务、延迟奖励、未来状态质量	短期最优常常牺牲长期效果
分布外表现	新场景、新用户、新工具、新物体	离线数据和仿真覆盖不到所有现实变化
可解释 Trace	状态、动作、奖励、错误归因是否能复盘	没有 Trace 就无法修 reward、policy 或环境
成本与样本效率	需要多少交互、标注、仿真和人工接管	很多 RL 方法不是效果不行，而是反馈太贵

一个实用判断

如果反馈可以客观验证，优先做验证器和回归集；如果反馈来自人类偏好，先治理标注口径；如果反馈来自真实环境，先保证沙箱、回放、限权和接管。

九、常见误区

误区：强化学习就是让模型自己试错

真实系统里的试错很贵也很危险。多数工程会先用仿真、离线日志、专家演示和人工回放降低风险。

误区：奖励越高越好

奖励只代表你定义的目标。定义错了，系统会优化错目标，并且可能比人工流程更快地出问题。

误区：RLHF 等于全部强化学习

RLHF 只是强化学习思想在语言模型后训练里的一个应用。控制、机器人、游戏、推荐和 Agent 都有不同形态。

误区：有世界模型就不需要真实反馈

世界模型可以帮助推演，但只要它和现实有偏差，策略就可能学到仿真捷径，仍然需要真实评测闭环。

误区：模仿学习比 RL 低级

很多高风险任务里，专家演示比随机探索更现实。模仿学习、离线 RL 和小心的在线反馈常常要组合使用。

误区：Agent 能跑通一次就说明策略好

策略质量要看分布、失败恢复、成本、权限、安全和复现率。单次成功视频不能证明策略可靠。

十、回到 AI 主干

AI 全景 → 神经网络 / 训练循环 → 后训练 / RLHF → 强化学习 / 环境反馈 → 推理模型 / 验证器 → 搜索 / 规划 → Agent 系统 → 具身智能 / 机器人

这张图在主干里的位置

如果说解码采样解释模型怎样从概率分布生成输出，后训练解释模型怎样被偏好塑形，那么本页解释模型和智能体怎样通过环境反馈学习行动。它是理解 RLHF、RLVR、Agent、机器人和自动驾驶之间共同机制的一层底座；而搜索、规划与约束求解则进一步解释一次任务里怎样从状态空间找到行动路径。