Blog de Simon🫣
历史归档
文章分类
文章标签
Github
About Me
友链
开往
SimonSun
文章
63
分类
4
标签
37
历史归档
文章分类
文章标签
Github
About Me
友链
开往
Lazy loaded image
LLM
🗻扫盲 Online / Offline & On-policy / Off-policy
发布于: 2025-11-28
最后更新: 2026-1-10
次查看
llm
算法
目录
0%
一、Online / Offline & On-policy / Off-policy二、PPO 到底是 On Policy 还是 Off Policy ?三、GRPO是on policy的吗?GRPO的loss里面有一项是重要性采样比(也即clip的作用对象),这个采样比定义是“新旧策略的分布差异”,如果GRPO是on policy,那么哪里来的“新与旧”呢?四、DPO (Direct Preference Optimization) 属于 Off-policy 算法,更准确地描述是 Offline(离线)算法。
SimonSun
SimonSun
Internet Malou, LLM Rookie, Bug Maker🤧
文章
63
分类
4
标签
37
最新发布
读A.I. Should Elevate Your Thinking, Not Replace It 有感
读A.I. Should Elevate Your Thinking, Not Replace It 有感
2026-5-9
vibecoding skill 集合使用历程记录
vibecoding skill 集合使用历程记录
2026-5-9
创业灵感挖掘与验证指南
创业灵感挖掘与验证指南
2026-5-9
VLM
VLM
2026-5-9
vibe coding for 前端心路历程
vibe coding for 前端心路历程
2026-5-7
vibe coding 一年小结
vibe coding 一年小结
2026-4-15
公告
🙌README🙌
🤯There is nothing left
in my right brain,
🤯and there is nothing right
in my left brain...
⭐I wish you every success⭐
 
目录
0%
一、Online / Offline & On-policy / Off-policy二、PPO 到底是 On Policy 还是 Off Policy ?三、GRPO是on policy的吗?GRPO的loss里面有一项是重要性采样比(也即clip的作用对象),这个采样比定义是“新旧策略的分布差异”,如果GRPO是on policy,那么哪里来的“新与旧”呢?四、DPO (Direct Preference Optimization) 属于 Off-policy 算法,更准确地描述是 Offline(离线)算法。
2023-2026SimonSun.

Blog de Simon🫣 | Internet Malou, LLM Rookie, Bug Maker🤧

Powered byNotionNext 4.10.8.