AI导航

本地大模型实战:用 Ollama 跑 DeepSeek 与 Qwen

2026-08-20800 次阅读

为什么要本地跑模型

数据不出机器、无按量计费、离线可用。2026 年的开源模型在 8GB 显存(甚至纯 CPU)上已有可用智能。

安装与运行

  1. 安装 Ollama(macOS/Windows/Linux 均有安装包)
  2. 终端执行 ollama run deepseek-r1,首次会自动下载模型
  3. 命令行即可对话;ollama serve 会暴露 OpenAI 兼容 API(默认 11434 端口)

模型怎么选

  • 轻量尝鲜:1.5B-7B 级别,老旧电脑也能跑
  • 日常主力:14B-32B 级别,需 12GB 以上显存或 32GB 内存
  • 不想碰命令行:用 LM Studio 图形界面,效果等同

接入你的应用

任何支持 OpenAI API 的客户端(沉浸式翻译、各类桌面助手)把接口地址改成 http://localhost:11434/v1 即可复用本地模型。