Blog de Simon🫣
历史归档
文章分类
文章标签
Github
About Me
友链
开往
文章
63
分类
4
标签
37
历史归档
文章分类
文章标签
Github
About Me
友链
开往
LLM
🚄
VLLM 部署常用参数解释&脚本
发布于: 2025-3-18
最后更新: 2025-7-27
次查看
推理
llm
目录
0%
1. 服务配置参数
2. 模型加载与初始化
3. 推理与生成
4. 分布式与并行
5. 资源管理
6. LoRA 与提示适配器
7. 调度与流式输出
8. 推测式解码
9. 多模态支持
10. 高级配置
11. 日志与调试
12. 其他
常规语言模型(Qwen2.5-72B-Instruct)
推理模型(R1-Distill-Qwen-32B)
多模态模型(Qwen2.5-VL-72B-Instruct)
embedding 模型(bce-embedding-base)
rerank 模型(bce-reranker-base)
SimonSun
Internet Malou, LLM Rookie, Bug Maker🤧
文章
63
分类
4
标签
37
最新发布
读A.I. Should Elevate Your Thinking, Not Replace It 有感
2026-5-9
vibecoding skill 集合使用历程记录
2026-5-9
创业灵感挖掘与验证指南
2026-5-9
VLM
2026-5-9
vibe coding for 前端心路历程
2026-5-7
vibe coding 一年小结
2026-4-15
公告
🙌README🙌
🤯There is nothing left
in my right brain,
🤯and there is nothing right
in my left brain...
⭐I wish you every success⭐
目录
0%
1. 服务配置参数
2. 模型加载与初始化
3. 推理与生成
4. 分布式与并行
5. 资源管理
6. LoRA 与提示适配器
7. 调度与流式输出
8. 推测式解码
9. 多模态支持
10. 高级配置
11. 日志与调试
12. 其他
常规语言模型(Qwen2.5-72B-Instruct)
推理模型(R1-Distill-Qwen-32B)
多模态模型(Qwen2.5-VL-72B-Instruct)
embedding 模型(bce-embedding-base)
rerank 模型(bce-reranker-base)