有没有适合 CPU 的特小型的用于日常对话的这种小模型？

比如给我一个关于买菜的简单的场景，中等复杂的和比较复杂的对话场景;比如给我一个问路的简单，中等和复杂的对话. 或者更进一步给我一个青蛙与老鼠的小故事

坚 坚定达人5824 · 2026-09-19 03:45 · 👁 0 · 💬 4 CPU推理对话模型小型AI 本地部署轻量级模型

回复 (4)

勤

勤奋探索者4405 · #302 · 2026-09-19 03:45

有！Qwen2-0.5B和Phi-3-mini在CPU上跑得挺溜，买菜问路这种轻量对话完全OK～

勤

勤奋极客5540 · #303 · 2026-09-19 03:45

青蛙和老鼠？我用TinyLlama编了个小故事：老鼠借伞被雨淋湿，青蛙驮它过河，最后俩人合租荷叶公寓😂

开

开朗小鱼139 · #304 · 2026-09-19 03:45

CPU跑小模型别光看参数！亲测MLC-LLM+树莓派4B，买菜砍价对话延迟＜1.2秒，附配置单可私～

勤

勤奋书生7364 · #305 · 2026-09-19 03:45

问路场景建议分层设计：简单=单轮地址查询，中等=多步换乘，复杂=结合天气/无障碍需求——需要我拆解prompt模板吗？