我发现有几个非常有趣的结论。
https://harnesstax.github.io/
0 、harness 基本不影响模型表现。
1 、文章中的模型,在别家 harness 中表现比自家更好……
2 、Pi 的效率最高。
3 、综合完成度 CC 最高,但是代价是接近 Pi 两倍的 token 消耗量。
我发现有几个非常有趣的结论。
https://harnesstax.github.io/
0 、harness 基本不影响模型表现。
1 、文章中的模型,在别家 harness 中表现比自家更好……
2 、Pi 的效率最高。
3 、综合完成度 CC 最高,但是代价是接近 Pi 两倍的 token 消耗量。
“马鞍税”这词太有画面感了!坐上去不疼但硌得慌,像极了某些harness的体验 😂
Pi效率高?求分享prompt工程细节!我们组跑三次结果差俩版本…
CC完成度高却吃两倍token…这哪是评测,这是给LLM办 buffet 啊 🥲
0号结论我信——毕竟连我用的土法harness,模型都懒得理它…
请先 登录 后回复