Ollama本地运行大模型完整指南：在自己的电脑上私密运行AI大模型，无需云服务。本文为tutorial类教程，发布于2026-03-27，已有3次阅读。由ONE社区整理发布，所有教程内容免费开放。
Ollama本地运行大模型完整指南：让AI在你的电脑上跑起来
什么是Ollama
Ollama是一个革命性的开源工具，让你可以在自己的电脑上一键运行各种大语言模型。它把复杂的模型下载、量化、部署过程封装成了类似Docker的简洁命令行体验——只需要一条命令就能启动一个大模型。
为什么要在本地运行大模型？三个核心理由：数据隐私（所有数据在本地处理，不会发送到任何外部服务器）、零成本（不需要API费用，运行多少次都免费）、无限制（没有内容审查和使用限制）。
系统要求
最低配置
CPU：支持AVX2指令集的现代处理器（2015年后的Intel/AMD处理器基本都支持）。内存：8GB RAM（运行7B模型）。硬盘：10GB可用空间。推荐配置
内存：16GB以上。显卡：NVIDIA显卡（支持CUDA），显存6GB以上可以GPU加速。硬盘：SSD，50GB以上可用空间（存放多个模型）。不同模型的硬件需求
7B参数模型：8GB内存即可运行，速度适中。13B参数模型：16GB内存，效果明显优于7B。70B参数模型：至少64GB内存或高显存GPU，效果接近GPT-3.5。安装Ollama
Windows安装
从ollama.com下载Windows安装包，双击安装即可。安装完成后会在系统托盘显示Ollama图标。macOS安装
从ollama.com下载macOS安装包，或使用Homebrew安装。Mac M1/M2/M3芯片的Metal加速让本地运行大模型的体验非常流畅。Linux安装
一键安装脚本：curl -fsSL https://ollama.com/install.sh | sh安装完成后验证：ollama --version
下载和运行模型
一键运行
ollama run qwen2:7b这条命令会自动下载Qwen2 7B模型（首次运行需要下载约4GB模型文件），下载完成后直接进入交互式对话界面。输入问题即可开始对话。
推荐模型
中文对话首选：Qwen2系列（阿里通义千问开源模型，中文能力最强的开源模型之一）。英文对话首选：LLaMA3系列（Meta开源模型，英文能力接近GPT-3.5）。代码生成：CodeLlama或DeepSeek-Coder。多模态（图片理解）：LLaVA系列。小而精：Phi-3（微软，3.8B参数但效果出色）。
模型管理命令
ollama list # 查看已下载的模型
ollama pull qwen2:13b # 下载模型（不运行）
ollama rm qwen2:7b # 删除模型
ollama show qwen2:7b # 查看模型信息API调用
Ollama启动后会在localhost:11434提供RESTful API，与OpenAI的API格式兼容。这意味着你可以用任何支持OpenAI API的工具或库来调用Ollama。
Python调用示例：使用openai库，将base_url设置为http://localhost:11434/v1即可无缝切换。
这种API兼容性让你可以轻松将云端AI应用迁移到本地运行，只需修改API地址，代码完全不用改。
搭配Web界面使用
命令行不够直观？可以搭配开源的Web界面使用：
Open WebUI（原Ollama WebUI）：最流行的Ollama Web界面，类似ChatGPT的对话体验，支持多模型切换、对话历史、文件上传等功能。安装方式：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway ghcr.io/open-webui/open-webui:main
安装后在浏览器访问localhost:3000即可使用。
进阶用法
自定义模型（Modelfile）
Ollama支持通过Modelfile自定义模型的System Prompt、参数和行为。创建一个文件名为Modelfile的文本文件：
FROM qwen2:7b
SYSTEM "你是ONE社区的AI助手，专注于回答AI工具和自动化相关的问题。回答要简洁专业，用中文。"
PARAMETER temperature 0.7
PARAMETER top_p 0.9然后创建自定义模型：ollama create my-assistant -f Modelfile
与LangChain集成
Ollama可以作为LangChain的LLM后端，用于构建本地运行的RAG系统、Agent等AI应用。所有数据处理都在本地完成，完美满足数据安全需求。
作为开发测试环境
在开发AI应用时，先用Ollama的本地模型进行开发和测试（零API费用），确认功能正常后再切换到云端API用于生产环境。这样可以大幅降低开发阶段的成本。
性能优化
GPU加速
NVIDIA显卡用户确保安装了最新的CUDA驱动，Ollama会自动检测并使用GPU加速。GPU加速可以将推理速度提升5-10倍。
内存优化
如果内存紧张，可以选择量化程度更高的模型版本（如q4_0比q8_0占用更少内存，但质量略有下降）。关闭不需要的应用释放内存。
并发处理
Ollama默认支持并发请求。在API模式下，可以同时处理多个用户的请求，适合搭建小规模的内部AI服务。
常见问题
模型下载太慢：使用镜像源或下载工具。模型加载报错：通常是内存不足，尝试更小的模型或关闭其他应用。回答质量不如ChatGPT：开源7B模型的能力确实不如GPT-4，如果需要更好的效果可以尝试13B或70B模型。
总结
Ollama让"本地运行大模型"从专业开发者的特权变成了每个人都能做到的事情。虽然本地模型的能力暂时不如顶级闭源模型，但对于很多实际应用场景已经完全够用。更重要的是，它给了你对数据的完全控制权——在AI安全日益受到关注的今天，这一点的价值不可估量。