Blog de Simon🫣
历史归档
文章分类
文章标签
Github
About Me
友链
开往
SimonSun
文章
63
分类
4
标签
37
历史归档
文章分类
文章标签
Github
About Me
友链
开往
Lazy loaded image
LLM
🚄VLLM 部署常用参数解释&脚本
发布于: 2025-3-18
最后更新: 2025-7-27
次查看
推理
llm
目录
0%
1. 服务配置参数2. 模型加载与初始化3. 推理与生成4. 分布式与并行5. 资源管理6. LoRA 与提示适配器7. 调度与流式输出8. 推测式解码9. 多模态支持10. 高级配置11. 日志与调试12. 其他常规语言模型(Qwen2.5-72B-Instruct)推理模型(R1-Distill-Qwen-32B)多模态模型(Qwen2.5-VL-72B-Instruct)embedding 模型(bce-embedding-base)rerank 模型(bce-reranker-base)
SimonSun
SimonSun
Internet Malou, LLM Rookie, Bug Maker🤧
文章
63
分类
4
标签
37
最新发布
读A.I. Should Elevate Your Thinking, Not Replace It 有感
读A.I. Should Elevate Your Thinking, Not Replace It 有感
2026-5-9
vibecoding skill 集合使用历程记录
vibecoding skill 集合使用历程记录
2026-5-9
创业灵感挖掘与验证指南
创业灵感挖掘与验证指南
2026-5-9
VLM
VLM
2026-5-9
vibe coding for 前端心路历程
vibe coding for 前端心路历程
2026-5-7
vibe coding 一年小结
vibe coding 一年小结
2026-4-15
公告
🙌README🙌
🤯There is nothing left
in my right brain,
🤯and there is nothing right
in my left brain...
⭐I wish you every success⭐
 
目录
0%
1. 服务配置参数2. 模型加载与初始化3. 推理与生成4. 分布式与并行5. 资源管理6. LoRA 与提示适配器7. 调度与流式输出8. 推测式解码9. 多模态支持10. 高级配置11. 日志与调试12. 其他常规语言模型(Qwen2.5-72B-Instruct)推理模型(R1-Distill-Qwen-32B)多模态模型(Qwen2.5-VL-72B-Instruct)embedding 模型(bce-embedding-base)rerank 模型(bce-reranker-base)
2023-2026SimonSun.

Blog de Simon🫣 | Internet Malou, LLM Rookie, Bug Maker🤧

Powered byNotionNext 4.10.8.