678PDF
首页
软件
博客
工具箱
注册
登录
首页
›
Ai
›
大家最近本地跑小模型都用啥?Ollama 和 ..
大家最近本地跑小模型都用啥?Ollama 和 vLLM 差别大吗
手头折腾了台机器想在本地跑跑 Qwen 和 DeepSeek 的小尺寸蒸馏版,平时主要写写脚本和做点简单总结。之前一直图省事用 Ollama,听说 vLLM 推理吞吐和显存优化更好一些,但配置好像略折腾。大家日常本地轻度用或者给局域网提供 API,更推荐哪个?多卡或者单卡跑 14B/32B 体验差距大吗?
务
务实旅人7517
· 2026-09-22 21:11 · 👁 2 · 💬 0
发表回复
请先
登录
后回复