原文链接： 2500 元的改装 V100，凭什么摩擦 3 万块的 Mac？阿里 Qwen3.6 本地实测
作者： 数字生命阿永
声明： 本文为转载文章，版权归原作者所有。转载目的在于传递更多信息，并不代表赞同其观点和对其真实性负责。
2500 元的改装 V100，凭什么摩擦 3 万块的 Mac？阿里 Qwen3.6 本地实测
大家好，我是阿永。
本地大模型一直有个两难选择——
小模型（8B、12B）速度快、显存友好，但逻辑推理容易露怯，多 Agent 协作直接翻车。
大模型（70B、110B）智商在线，但显存门槛高到离谱，吐字速度 PPT 级别，单卡用户看一眼就劝退。
阿里最新开源的 Qwen3.6-35B-A3B，就是冲着打破这个僵局来的。
35B 总参数量，每次 Token 只激活 3B。
我把这个 MoE 模型塞进三台价格相差 12 倍的硬件里，极限压榨了四天。
结论很炸裂：2,500 块的垃圾佬配置，跑出了接近 3 万块 Mac 的推理速度。
阿里 Qwen3.6-35B-A3B MoE 大模型
它是怎么做到的
Qwen3.6-35B-A3B 不是传统意义上的稠密模型。
它用了精细化 MoE 架构——35B 总参数，256 个专家，单次只激活约 3B。
每个 Token 通过 8 个路由专家 + 1 个共享专家高效流转。
所以虽然"总盘子"大，实际算力消耗跟一个 3B 模型差不多。
还有一个让我眼前一亮的特性——思维保留（Thinking Preservation）。
传统推理模型在多轮对话里会丢弃历史消息的推理草稿，导致多轮追问逻辑退化。
Qwen3.6 允许在上下文里完整保留思考路径，复杂项目迭代时连贯性大幅提升。
简单说：它记住了自己前面是怎么想的，不会变成金鱼脑。
另外它原生支持多模态——图像感知、表格解析、OCR 识别，不是打补丁式的外挂。
三台设备，12 倍价差
为了摸清它的真实胃口，我搭了三台跨度极大的测试平台。
选手一：2,500 元盖板战神
山寨 X99 平台 + DDR3 32GB + 手工改装水冷 V100 SXM2 16GB。
llama.cpp 引擎，加载 Q4_K_M 量化。
16G 显存放不下整个 35B 模型，用异构混合推理——41 层放 25 层进 V100，剩下 16 层走系统内存。
选手二：15,000 元设计师工作站
AMD Ryzen 9 7900X + DDR5 6000 64GB + RTX 4060 Ti 16GB。
同样 llama.cpp，Q4_K_M 量化。
选手三：30,000 元主力 Mac
14 寸 MacBook Pro M2 Max，96GB 统一内存。
苹果原生 MLX 框架，4-bit 量化版，模型文件约 19GB。
速度对决
| 平台 | 成本 | 吐字速度 | 预填充速度 |
|---|---|---|---|
| V100 盖板战神 | 2,500 元 | 35.0 tok/s | 35 tok/s |
| 4060Ti 工作站 | 15,000 元 | 57.2 tok/s | 60 tok/s |
| MacBook M2 Max | 30,000 元 | 55.6 tok/s | 660.3 tok/s |
财务冷思考：
2,500 块的拼装 V100，混合推理下轰出 35 tok/s，完全可用。
Mac 的 Prefill 速度变态——660 tok/s，靠的是统一内存带宽。
但实际吐字速度（55 tok/s）和 1.5 万的 4060Ti 几乎持平。
对预算有限的人来说，"旧显卡 + 混合推理"是当前性价比最高的上车方案。
四轮硬核实测
第一轮：OCR 识别与格式还原
在 V100 盖板战机上跑。
上传一张包含繁琐文字、JSON 代码块、技术文档排版的截图。
Qwen3.6 在 Q4_K_M 量化下，仅用 17 秒 完成全图解析。
代码变量一字不差，Markdown 标题和列表层级完整还原。
相比 Gemma 4 的文档结构还原度，提升了一个档次。
第二轮：文学双风格模仿
在 4060Ti 工作站上跑，57 tok/s 飞快吐字。
指令：分别模仿汪曾祺（平淡有味）和张爱玲（冷艳精致）写"夏天傍晚下楼买冰棍"，各 120 字以内。
汪曾祺版：
傍晚风刚吹下来，蝉声也懒了。趿拖鞋下楼，街角小店的水箱嗡嗡响。挑支老冰棍，纸皮微潮，指尖一触凉意渗进肉里。咬一口，甜得淡雅却妥帖。夕阳把影子拉长，日子就这么悠悠融化开了。
张爱玲版：
暑气未散，晚风像隔夜的茶，涩而湿滞。楼道声控灯暗得刻薄，小卖部的铁皮冰柜泛着幽蓝，冰棍整齐码着，宛如一棺凉玉。买下时纸包已洇出冷汗。咬破，甜腻腻漫上来，那凉意是借来的，终究要连本带利还给这粘稠的夏夜。
这种对抽象风格的精准拿捏，以往只有在 70B 以上的闭源模型里才能看到。
第三轮：100 层楼投鸡蛋（3000 Token 深度长考）
在 Mac M2 Max 上跑，开到 4-bit 量化。
经典算法题：100 层楼、2 个鸡蛋，最少试几次找到临界楼层？
Qwen3.6 启动了长考模式，后台进行了 3000 多个 Token 的深度推理——
- 先识别这是动态规划 / 最坏情况极小化极大问题
- 推导等差数列求和公式：n + (n-1) + ... + 1 >= 100
- 求解 n(n+1)/2 >= 100 → n >= 13.65 → 最少 14 次
- 验证边缘 case：14 层碎了怎么试，没碎去 27 层
- 输出完整动态规划转移方程 dp[i][j]
它不仅背出了"14 次"这个标准答案，还一步步推了数学公式、递减区间、执行决策树。
这证明 MoE 架构下的本地 35B 模型，已经具备了真正的深度逻辑推理能力，而不只是记忆检索。
第四轮：3D 太阳系公转模拟器
回到 V100 盖板战神上跑，35 tok/s，耗时 3 分半钟。
指令：使用原生 JS + Three.js 制作交互式 3D 太阳系，带引力轨迹和行星信息卡片。
模型一键吐出了近 8,000 个 Token 的完整 HTML 页面代码。
双击打开——天体物理规律完全契合公式，公转轨道支持滑块实时缩放，速度支持 10 倍加速，点击任意行星弹出属性悬浮窗。
零报错。
几个避坑点
- MLX 4-bit 精度微损： Mac 上做高难度数学题时，4-bit 版本的严密性略输于 llama.cpp 的 Q4_K_M。
- LaTeX 渲染 Bug： MLX 网页端聊天室输出的数学公式有时是未解析的原始标记，这是前端渲染器兼容问题，不是模型智商问题。
- 显存幻觉： 虽然激活参数只有 3B，但总参数 35B 依然要占约 19GB 存储空间。16G 显卡必须用 llama.cpp 开层数分流 offloading，否则直接 OOM。
一人军团的端侧大脑
Qwen3.6-35B-A3B 已经完全跨过了"生产力工具"的门槛。
2,500 块的垃圾佬配置就能跑到 35 tok/s，4060Ti 能跑到 57 tok/s。
MoE 架构 + 思维保留 + 原生多模态，让它成为目前端侧部署的最优选。
建议挂载到 VS Code、Cursor 或本地自动化流里，作为无 API 成本、高响应速度的端侧大脑。
当云端的 API 涨价、断供、审查越来越频繁时，本地这条退路，比任何时候都更值得铺好。
参考资料
- 原文链接：https://mp.weixin.qq.com/s/xkxONL4RDADTAKYF_RrK_g
- 作者：数字生命阿永