Blog de Simon🫣
历史归档
文章分类
文章标签
Github
About Me
友链
开往
文章
67
分类
4
标签
37
历史归档
文章分类
文章标签
Github
About Me
友链
开往
LLM
🕶️
投机解码该验几个 token:DSpark 和 vLLM 的在线估计器
发布于: 2026-10-26
最后更新: 2026-11-5
次查看
推理
部署
目录
0%
1. 先说问题
2. DSpark 的做法
2.1 半自回归的 drafter
2.2 置信头
2.3 调度
2.4 线上数字
3. vLLM 这次补的是什么
3.1 一个 K+1 个参数的逻辑回归
3.2 为什么不用 q_sampled
3.3 为什么要拟合,不直接拿 q_max 用
3.4 和训练出来的置信头比
3.5 斜率和截距各管一摊
4. 局限和没说的
参考
SimonSun
Internet Malou, LLM Rookie, Bug Maker🤧
文章
67
分类
4
标签
37
最新发布
投机解码该验几个 token:DSpark 和 vLLM 的在线估计器
2026-11-5
Simon‘s 中转站始末(已挂)
2026-11-5
天黑得早了
2026-11-5
劳动节假期-广州小计
2026-10-8
读A.I. Should Elevate Your Thinking, Not Replace It 有感
2026-5-9
vibecoding skill 集合使用历程记录
2026-5-9
公告
🙌README🙌
🤯There is nothing left
in my right brain,
🤯and there is nothing right
in my left brain...
⭐I wish you every success⭐
目录
0%
1. 先说问题
2. DSpark 的做法
2.1 半自回归的 drafter
2.2 置信头
2.3 调度
2.4 线上数字
3. vLLM 这次补的是什么
3.1 一个 K+1 个参数的逻辑回归
3.2 为什么不用 q_sampled
3.3 为什么要拟合,不直接拿 q_max 用
3.4 和训练出来的置信头比
3.5 斜率和截距各管一摊
4. 局限和没说的
参考