【SGLang】4090 48G魔改 部署 Qwen3.5-27B-FP8&35B A3B 一些心得经验分享。
问题描述：先介绍环境：4090 48Gi5 13600kddr4 32Gx4win11 LTSCWSL2 Ubuntu22.04目前性能结论（个人感受）：4并发，单路50-60tok/s，kvcache fp8 310k缓存池
sglang
共收录1篇相关文章
共收录1篇相关文章
问题描述：先介绍环境：4090 48Gi5 13600kddr4 32Gx4win11 LTSCWSL2 Ubuntu22.04目前性能结论（个人感受）：4并发，单路50-60tok/s，kvcache fp8 310k缓存池