本地部署大模型教程：Ollama 从零开始

本地部署大模型，完全免费、无调用次数限制，数据也可以不出本机。

为什么选择本地部署

• 隐私安全：数据不出本地
• 免费使用：无需付费订阅
• 无限制：没有调用次数上限
• 离线可用：断网也能跑

Ollama 安装教程

Windows / Mac

1. 访问 ollama.com
2. 下载对应系统的安装包
3. 双击安装即可

Linux

curl -fsSL https://ollama.com/install.sh | sh

下载并运行模型

ollama run llama3    # Llama 3
ollama run qwen      # 通义千问
ollama run gemma     # Google Gemma

常用命令

ollama list           # 查看已下载模型
ollama pull llama3    # 下载模型
ollama run llama3     # 运行模型

图形界面工具

• Open WebUI：网页界面
• LM Studio：桌面应用
• AnythingLLM：知识库管理

装好之后，就可以开始你的本地大模型之旅了。

相关阅读

• AI 教程 Qwen3-Coder 30B 本地部署教程：5 步搭一个代码不出本机的 AI 助手
• AI 教程 把 RAG 检索评估从 0 到 1:Ragas + Langfuse 30 分钟搭可观测离线评估流水线
• AI 教程 生产级 RAG 缓存实战:查询/嵌入/答案三层拆解与 5 步落地节奏
• AI 教程 RAG 进阶：从基础检索到 GraphRAG 的工程化路径