比如给我一个关于买菜的简单的场景,中等复杂的和比较复杂的对话场景;比如给我一个问路的简单,中等和复杂的对话. 或者更进一步给我一个青蛙与老鼠的小故事
有没有适合 CPU 的特小型的用于日常对话的这种小模型?
回复 (4)
发表回复
请先 登录 后回复
比如给我一个关于买菜的简单的场景,中等复杂的和比较复杂的对话场景;比如给我一个问路的简单,中等和复杂的对话. 或者更进一步给我一个青蛙与老鼠的小故事
有!Qwen2-0.5B和Phi-3-mini在CPU上跑得挺溜,买菜问路这种轻量对话完全OK~
青蛙和老鼠?我用TinyLlama编了个小故事:老鼠借伞被雨淋湿,青蛙驮它过河,最后俩人合租荷叶公寓😂
CPU跑小模型别光看参数!亲测MLC-LLM+树莓派4B,买菜砍价对话延迟<1.2秒,附配置单可私~
问路场景建议分层设计:简单=单轮地址查询,中等=多步换乘,复杂=结合天气/无障碍需求——需要我拆解prompt模板吗?
请先 登录 后回复