一、硬件

GPU：Nvidia 4060Ti 16G

CPU：Intel 12600KF

内存：64G

二、软件

OS：Debian13

部署：LLamaCPP

2.1 运行命令

taskset -c 0-11 llama-server --api-key "123456" \
-m ./Hermes3.6-35B-A3B-Uncensored-Genesis-Final-MTP-APEX-Compact.gguf \
-a Qwen3.6-35B-A3B \
--reasoning-budget 8192 \
--spec-type draft-mtp \
--spec-draft-n-max 4 \
--spec-draft-p-min 0.80 \
--jinja \
--chat-template-file ./chat_template_36.jinja \
-c 131072 \
--temp 0.7 \
--top-p 0.85 \
--top-k 20 \
--repeat-penalty 1.08 \
-fa on \
-fit on \
-fitt 192 \
-ngl 33 \
-ctk q4_0 \
-ctv q4_0 \
--kv-offload \
--cache-prompt \
--cache-reuse 32768 \
--slot-prompt-similarity 0.85 \
--no-context-shift \
--parallel 1 \
--threads 12 \
--batch-size 2048 \
--ubatch-size 512 \
--log-file /tmp/llamacpp36.log \
--host 0.0.0.0 \
--port 10000

三、性能

3.1 Chat

3.2 Agent