本地大模型实战:用 Ollama 跑 DeepSeek 与 Qwen
2026-08-20800 次阅读
为什么要本地跑模型
数据不出机器、无按量计费、离线可用。2026 年的开源模型在 8GB 显存(甚至纯 CPU)上已有可用智能。
安装与运行
- 安装 Ollama(macOS/Windows/Linux 均有安装包)
- 终端执行
ollama run deepseek-r1,首次会自动下载模型 - 命令行即可对话;
ollama serve会暴露 OpenAI 兼容 API(默认 11434 端口)
模型怎么选
- 轻量尝鲜:1.5B-7B 级别,老旧电脑也能跑
- 日常主力:14B-32B 级别,需 12GB 以上显存或 32GB 内存
- 不想碰命令行:用 LM Studio 图形界面,效果等同
接入你的应用
任何支持 OpenAI API 的客户端(沉浸式翻译、各类桌面助手)把接口地址改成 http://localhost:11434/v1 即可复用本地模型。