Ollama 本地大模型硬件选购完全指南
原文链接：微信公众号
本文转载自微信公众号，仅供学习参考。
随着 Ollama 等工具的成熟，在本地运行大语言模型已经变得前所未有的简单。相比云端 API，本地部署有着独特的优势。
本地部署的核心优势
- 隐私保护：数据完全在本地处理，无需担心敏感信息泄露
- 零 API 费用：一次投资，无限使用，长期成本更低
- 离线可用：无需网络也能使用，随时随地可用
- 低延迟：本地推理响应更快，体验更流畅
- 完全可控：自由选择模型、调整参数，不受平台限制
模型规模与硬件需求对照
| 模型规模 | 显存/内存需求 | 典型模型 | 适用场景 |
|---|---|---|---|
| 7B | 8-12GB | Qwen2.5-7B, Llama3.1-8B, Mistral-7B | 日常对话、代码补全 |
| 13B | 12-16GB | Qwen2.5-14B, CodeLlama-13B | 复杂对话、文章写作 |
| 30B | 24-48GB | Qwen2.5-32B, DeepSeek-33B | 专业任务、深度推理 |
| 70B | 48-96GB | Llama3.1-70B, Qwen2.5-72B | 接近 GPT-4 水平 |
以上显存需求基于 Q4_K_M 量化版本。FP16 全精度需要约 2 倍显存，INT8 量化需要约 1.5 倍。建议预留 20% 余量应对上下文长度增加。
7B 模型：GPU 显卡方案
二手性价比之选
- GTX 1080 Ti (11GB) ¥2,100 - 极致性价比 ⭐⭐⭐⭐
1080 Ti 是运行 7B 模型最具性价比的选择，11GB 显存充足，二手价格低廉。缺点是功耗较高。
新卡入门方案
- RTX 3060 12GB ¥4,000 - 新卡首选 ⭐⭐⭐⭐
- RTX 4060 8GB ¥4,600 - 显存略小 ⭐⭐⭐
- RTX 5060 8GB ¥6,000 - 最新架构 ⭐⭐⭐
GPU 选购建议
- 预算有限：选 1080 Ti，性价比无敌
- 追求稳定：选 RTX 3060 12GB，显存充足
- 游戏兼顾：RTX 4060/5060 可以游戏 + AI 两用
7B 模型：Mac 方案
Mac mini M4 系列
- Mac mini M4 16GB/256GB ¥4,499
- Mac mini M4 16GB/512GB ¥5,499
- Mac mini M4 24GB/512GB ¥6,999 - 推荐 ⭐⭐⭐⭐⭐
- Mac mini M4 Pro 48GB ¥16,499
MacBook Air M3 15" ¥11,999
便携 + AI 两用
7B Mac 选购建议
- 最佳性价比：Mac mini M4 24GB/512GB（¥6,999）
- 16GB 内存可以跑 7B，但 24GB 更从容，还能跑 13B
- 需要移动办公选 MacBook Air 24GB
30B 模型：GPU 显卡方案
专业级显卡方案
- NVIDIA A6000 48GB ¥14,500 - 工作站级、稳定可靠
- 双 RTX 3090 48GB (24×2) ¥17,000 - 需 NVLink、功耗高
- RTX 4090 24GB ¥18,600 - 性能强劲、游戏兼顾
- RTX 5090 32GB ¥25,000 - 最新旗舰、显存更大
GPU 方案注意事项
- 双卡方案需要支持 NVLink 的主板，配置复杂
- 4090/5090 功耗 450W+，需要高品质电源
- A6000 为专业卡，没有视频输出，纯计算用途
30B 模型：Mac 方案
Mac Studio M4 Max 系列
- Mac Studio M4 Max 36GB ¥16,999 - 入门 ⭐⭐⭐
- Mac Studio M4 Max 48GB ¥19,499 - 够用 ⭐⭐⭐⭐
- Mac Studio M4 Max 64GB ¥24,499 - 最佳 ⭐⭐⭐⭐⭐
- Mac Studio M4 Max 128GB ¥31,999 - 富余 ⭐⭐⭐⭐
Mac Studio M3 Ultra 系列
- Mac Studio M3 Ultra 96GB ¥39,999 - 可跑 70B 模型
- Mac Studio M3 Ultra 192GB ¥55,999 - 完整 70B + 长上下文
MacBook Pro 16" M5 系列
- MacBook Pro 16" M5 Pro 36GB ¥22,999 - 13B 够用 ⭐⭐⭐
- MacBook Pro 16" M5 Pro 48GB ¥26,499 - 30B 入门 ⭐⭐⭐⭐
- MacBook Pro 16" M5 Max 64GB ¥38,499 - 最佳便携 ⭐⭐⭐⭐⭐
- MacBook Pro 16" M5 Max 96GB ¥45,999 - 顶配 ⭐⭐⭐⭐
30B Mac 选购建议
- 桌面最佳：Mac Studio M4 Max 64GB（¥24,499）
- 便携最佳：MacBook Pro 16" M5 Max 64GB（¥38,499）
- 想跑 70B？至少需要 M3 Ultra 96GB
GPU vs Mac：全面对比
| 对比维度 | GPU 方案 | Mac 方案 |
|---|---|---|
| 入门成本 | ¥2,100 起（1080 Ti） | ¥4,499 起（Mac mini） |
| 30B 成本 | ¥14,500 起（A6000） | ¥16,999 起（Mac Studio） |
| 推理速度 | 更快（CUDA 优化成熟） | 较快（Metal 持续优化） |
| 功耗噪音 | 高功耗、风扇噪音大 | 低功耗、静音 |
| 易用性 | 需要配机、装驱动 | 开箱即用 |
| 扩展性 | 可升级显卡 | 内存不可升级 |
| 便携性 | 台式机为主 | MacBook 可移动办公 |
选购决策指南
入门体验（预算 ¥5,000 以内）
- 追求极致性价比 → 1080 Ti（¥2,100）
- 想要新卡保修 → RTX 3060 12GB（¥4,000）
- macOS 用户 → Mac mini M4 16GB（¥4,499）
认真使用（预算 ¥7,000-15,000）
- 性价比之选 → Mac mini M4 24GB（¥6,999）
- 便携需求 → MacBook Air M3 24GB（¥11,999）
- GPU 发烧友 → 二手 3090（¥8,000-10,000）
专业需求（预算 ¥15,000-25,000）
- 工作站方案 → A6000 48GB（¥14,500）
- 游戏 + AI → RTX 4090（¥18,600）
- Mac 桌面 → Mac Studio M4 Max 64GB（¥24,499）
顶级配置（预算 ¥30,000+）
- 移动工作站 → MacBook Pro M5 Max 64GB（¥38,499）
- 运行 70B → Mac Studio M3 Ultra 96GB（¥39,999）
- 最强 GPU → RTX 5090（¥25,000）或多卡
常见问题 FAQ
7B 模型够用吗？
对于日常对话、代码补全、文档写作等任务，7B 完全够用。Qwen2.5-7B、Llama3.1-8B 等模型质量已经相当高，性价比最佳。
Mac 和 GPU 哪个推理更快？
同等显存下，NVIDIA GPU 的 CUDA 优化更成熟，推理速度通常快 30-50%。但 Mac 的优势是静音、低功耗、开箱即用。
16GB 内存的 Mac 能跑什么？
16GB 可以流畅运行 7B Q4 量化模型。建议升级到 24GB 以获得更好体验，可以跑 13B 或更长上下文。