比英伟达会玩，本地部署 Qwen3.6，速度翻了 2.5 倍
原文链接： 老章很忙 — 比英伟达会玩，本地部署 Qwen3.6，速度翻了 2.5 倍
作者： Ai学习的老章
声明： 本文为微信公众号文章转载，版权归原作者所有。
前言
英伟达出手，Qwen3.6-27B 量化版来了，褒贬不一。没想到大模型量化巨头 Unsloth 比英伟达还会玩——他们发布了全新的 Dynamic NVFP4 量化技术，直接让本地跑 Qwen3.6 的速度翻了 2.5 倍，而且精度几乎无损。
如果你手上有一张 RTX 5090 或者 B200 这样的 Blackwell 架构 GPU，这次的 NVFP4 量化绝对值得关注。
先说结论
| 模型 | 显存占用 | 性能亮点 |
|---|---|---|
| Qwen3.6-27B | 24GB VRAM | 比标准 NVFP4 快 2.5 倍 |
| Qwen3.6-35B-A3B | — | 高并发下 B200 上飙到 17,561 tokens/s |
- 精度：MMLU-Pro、GPQA、AIME 2025 全线对齐 BF16 水平
- 附赠 FP8 KV Cache 校准，上下文长度直接翻倍
- 一句话总结：又快又准，还省显存
Qwen3.6 速览
Qwen3.6 是阿里 4 月份发布的新一代混合思维多模态模型家族，包含两个版本：
| 模型 | 参数量 | 特点 |
|---|---|---|
| Qwen3.6-27B | 270 亿（Dense） | 旗舰级编码能力，SWE-bench Verified 77.2 |
| Qwen3.6-35B-A3B | 350 亿总参/30 亿激活（MoE） | 每 token 只激活 3B 参数，推理效率极高 |
关键能力：
- 256K 原生上下文，YaRN 可扩展到 100 万
- 201 种语言支持
- Agentic Coding：前端工作流和仓库级推理表现优异
- Thinking Preservation：保留历史思维链，多轮对话更连贯
- 多模态：支持图片、视频理解
Qwen3.6-27B 在 SWE-bench Verified 上拿到 77.2 分，Terminal-Bench 2.0 上 59.3 分——这是跟 Claude 4.5 Opus 同档的成绩。
Dynamic NVFP4 到底做了什么
核心差异：W4A4 vs W4A16
NVIDIA 官方的 NVFP4 量化方案是 W4A16——权重是 4-bit，但激活值（Activation）仍然是 16-bit，这意味着矩阵乘法时，GPU 需要把 4-bit 权重先反量化到 16-bit，再做计算。
Unsloth 的方案是 W4A4——权重和激活值都压到 4-bit，直接利用 Blackwell 架构的 FP4 Tensor Core 做原生计算，少了反量化这一步，吞吐量直接起飞。
动态层量化
"Dynamic" 不是随便起的名字，Unsloth 不是把所有层一刀切量到 4-bit：
- 重要层保留更高精度——对模型输出影响大的层会被上采样
- 校准数据集精选——混合 Unsloth 自有数据集 + UltraChat，专门针对编程、工具调用、对话三个场景优化
- Chat Template 改进——修复了编码和工具调用的一致性问题，减少循环和其他已知问题
这就是为什么精度能保住——不是暴力压缩，而是"该省省、该花花"。
内置 MTP 加速
MTP（Multi-Token Prediction）是 Qwen3.6 的独门武器，可以一次预测多个 token。Unsloth 把 MTP 张量直接内置到 NVFP4 量化模型里，开箱即用，不需要额外加载 MTP 模块。
FP8 KV Cache 校准
通过 FP8 KV Cache 校准，上下文长度可以翻倍，对于 Agent 场景来说，更长的上下文意味着可以记住更多的对话历史和工具调用结果。
性能跑分：说数据
吞吐量对比（1×B200，128 并发）
Unsloth 官方在 B200 上做了完整测试：
- Qwen3.6-27B NVFP4：比 NVIDIA 官方 NVFP4 快 2.5 倍
- Qwen3.6-35B-A3B NVFP4：1.56 倍提速（精准版）
- Qwen3.6-35B-A3B NVFP4-Fast：1.79 倍提速（全 W4A4 版本）
- 高并发场景下，35B-A3B 可以飙到 17,561 tokens/s
解码速度方面：27B 提升 1.03 倍，35B-A3B 提升 1.17~1.22 倍。
精度对比：几乎无损
这是最让人放心的部分——量化后精度跟 BF16 基本持平：
Qwen3.6-27B NVFP4 精度 Benchmark：
| Provider | MMLU-Pro | GPQA | AIME 2025 |
|---|---|---|---|
| Unsloth NVFP4 | 86.25 | 86.34 | 93.12 |
| NVIDIA NVFP4 | 85.96 | 86.87 | 93.12 |
| FP8 | 86.11 | 86.87 | 93.75 |
| BF16 | 85.96 | 88.13 | 93.33 |
Qwen3.6-35B-A3B NVFP4 精度 Benchmark：
| Provider | MMLU-Pro | GPQA | AIME 2025 |
|---|---|---|---|
| Unsloth NVFP4 | 85.85 | 86.74 | 92.29 |
| Unsloth Fast | 85.58 | 87.75 | 91.67 |
| NVIDIA NVFP4 | 85.60 | 87.12 | 91.88 |
| FP8 | 85.75 | 86.74 | 93.12 |
| BF16 | 85.75 | 86.36 | 92.50 |
Unsloth 还特别检查了输出长度——NVFP4 量化后的模型并没有"思考更久"来弥补精度，所以加速是实打实的，不是靠多想来凑的。
两个 35B-A3B 版本的选择
| 版本 | 特点 | 加速比 |
|---|---|---|
| NVFP4（推荐） | 部分层保留高精度，更准确 | 1.56x |
| NVFP4-Fast | 全 W4A4，最大速度 | 1.79x |
跑 Agent 或工具调用场景建议用标准版；纯聊天或对速度更敏感选 Fast 版本。
硬件要求
NVFP4 需要 Blackwell 架构 GPU：
- ✅ RTX 50 系列（5090、5080 等）
- ✅ DGX Spark
- ✅ B200 / B300
- ❌ RTX 40 系列及更早的卡不支持
如果 GPU 不是 Blackwell 架构，Unsloth 的 Dynamic GGUF 量化同样优秀，配合 MTP 在旧卡上也能跑出不错的速度：
| Qwen3.6 | 3-bit | 4-bit | 6-bit | 8-bit | BF16 |
|---|---|---|---|---|---|
| 27B | 15 GB | 18 GB | 24 GB | 30 GB | 55 GB |
| 35B-A3B | 17 GB | 23 GB | 30 GB | 38 GB | 70 GB |
怎么跑起来
方案一：vLLM（推荐）
# 安装 vLLM
uv venv myenv --python 3.12
uv pip install --python myenv/bin/python \
"vllm==0.24.0" "nvidia-cutlass-dsl==4.5.2" --torch-backend=auto
# 启动 27B NVFP4
vllm serve unsloth/Qwen3.6-27B-NVFP4 \
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'
# 或者 35B-A3B Fast 版本
vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast \
--speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'方案二：SGLang
python -m sglang.launch_server \
--model-path unsloth/Qwen3.6-27B-NVFP4 \
--speculative-algorithm NEXTN \
--speculative-num-steps 3 \
--speculative-eagle-topk 1 \
--speculative-num-draft-tokens 4方案三：Unsloth Studio（最简单）
# 安装
curl -fsSL https://unsloth.ai/install.sh | sh
# 启动
unsloth studio -p 8888打开浏览器搜索 Qwen3.6，下载模型就能直接跑，Studio 会自动帮你设置最优的推理参数，包括 MTP 配置。
部署为 API 服务
from openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:8000/v1",
api_key="sk-no-key-required",
)
completion = client.chat.completions.create(
model="unsloth/Qwen3.6-27B-NVFP4",
messages=[{"role": "user", "content": "帮我写一个 Snake 游戏"}],
temperature=0.6,
top_p=0.95,
extra_body={"top_k": 20},
)
print(completion.choices[0].message.content)这意味着可以把它接入 Claude Code、Codex、或者任何支持 OpenAI API 的工具链。
和其他方案对比
| 方案 | 速度 | 精度 | 显存效率 | GPU 要求 |
|---|---|---|---|---|
| Unsloth NVFP4 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | Blackwell |
| NVIDIA NVFP4 | ⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | Blackwell |
| Unsloth GGUF + MTP | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | 任意 |
| Ollama | ⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | 任意 |
总结
Unsloth 这次的 Dynamic NVFP4 量化，核心创新就三个字：W4A4——把权重和激活值都压到 4-bit，直接用 Blackwell 的 FP4 Tensor Core 做原生计算，绕过了传统方案的反量化瓶颈。
对于有 Blackwell GPU 的用户来说，这基本是目前跑 Qwen3.6 最快的方案，27B 模型只需要 24GB VRAM，精度还跟 BF16 齐平。对于还在用 40 系卡的同学，Unsloth 的 Dynamic GGUF + MTP 依然是最优选择。
提醒： 不要用 CUDA 13.2（会输出乱码），用 13.2 以下或者 13.3 版本。
参考资料：