一、基础知识

Ollama 是一个把"下载模型、加载模型、提供对话接口"打包在一起的本地工具。没有它之前,跑一个开源模型你要自己配 Python 环境、装推理框架、下载权重文件、写加载代码;有了它,一条命令就能下载并运行模型,它还在本地起一个服务,让你的程序通过接口调用模型。

理解三个概念就够用了:

  • 模型权重:模型的"大脑文件",体积从几百兆到几十 GB 不等。参数量越大通常能力越强,但占用内存和显存也越多。
  • 参数量:常见写法像 7B、8B、14B,"B"是十亿(billion)参数。数字越大越吃资源。这不是精确性能指标,只是一个规模参考。
  • 量化:把权重从高精度数字压缩成低精度表示的技术,能大幅减小模型体积、降低显存占用,代价是可能有轻微质量损失。量化精度常见有 4 位、8 位等,具体命名和含义以模型发布方的说明为准。

Ollama 里的模型名通常类似 名称:标签,标签用来区分参数规模和量化版本,比如同一模型可能有多个不同大小的标签。由于模型库和标签会持续更新,具体有哪些可选模型、标签怎么写,请到 Ollama 官方模型库查看,不要照搬别人文章里的旧名字。

显存(GPU 显存)和内存(RAM)要分清。模型运行时优先用显存,显存不够会退到内存,速度明显变慢;两者都不够就会直接报错或被系统终止。所以"显存避坑"的本质是:选一个体积能塞进你硬件的模型。

二、实操步骤

第一步,安装 Ollama。

Linux / macOS 用官方安装脚本(执行前建议先到官网确认脚本地址):

curl -fsSL https://ollama.com/install.sh | sh

Windows 用户到 Ollama 官网下载安装包,按向导安装即可。安装脚本地址、安装包入口和系统要求可能变化,请以 Ollama 官网为准。

第二步,确认安装成功,查看版本:

ollama --version

第三步,下载并运行一个模型。模型名请换成官方模型库里你选的那个:

ollama pull 模型名:标签
ollama run 模型名:标签

pull 只下载,run 会在没下载时自动下载并直接进入交互式对话。看到对话框出现后,输入问题就能聊,输入 /bye 退出。

第四步,查看本地已有哪些模型,以及占用的磁盘空间:

ollama list

第五步,用代码调用本地服务。Ollama 默认在本机提供一个 HTTP 接口,普通程序可以直接请求它。下面是 Python 示例,依赖只有标准库加常用的 requests:

pip install requests
import requests

url = "http://localhost:11434/api/generate"
payload = {
    "model": "模型名:标签",   # 换成 ollama list 里显示的名字
    "prompt": "用一句话解释什么是量化。",
    "stream": False,
}
resp = requests.post(url, json=payload, timeout=120)
resp.raise_for_status()
print(resp.json()["response"])

接口路径和字段以 Ollama 官方文档为准;不同版本的默认端口、字段可能调整,报错时先核对接口文档。

第六步,管理模型。不需要的模型可以删除,释放磁盘空间:

ollama rm 模型名:标签

三、关键细节

  • 先看硬件再选模型。用系统任务管理器或 nvidia-smi(英伟达显卡)查看显存容量,再对照模型文件大小估算能不能装下,模型文件通常比显存略大才舒服。
  • 量化版本是显存紧张时的首选。同一模型的不同量化标签,体积可能相差一倍以上,优先试更小的量化版本,质量损失在多数对话场景里不明显。
  • 参数量不是越大越好。在配置有限的机器上,一个响应流畅的小模型,体验往往好过一个卡到大半分钟才出字的大模型。
  • 模型文件默认存放在系统盘,多个模型累积很容易占满磁盘,安装前确认可用空间,必要时查官方文档了解如何改存储路径。
  • 有独显不代表一定能用上。推理框架对显卡型号、驱动、算力架构有要求,跑不起来时先确认驱动是否为较新版本。
  • 本地模型的能力和在线大模型有差距。它适合隐私敏感、离线、简单稳定的任务,复杂推理任务要理性预期。

四、常见错误

现象 原因 修正
运行报显存不足或进程被杀 模型体积超过显存与内存总和 换更小的参数量或更低量化的标签,关闭占用显存的其他程序
下载卡住或极慢 网络到模型仓库不稳定 重试、换网络环境,或按官方文档配置镜像/代理
代码请求接口报连接失败 服务没启动,或端口/地址写错 先 ollama list 确认服务可用,核对接口地址和端口
提示找不到模型名 模型名或标签写错,或未下载 用 ollama list 查看已下载模型的准确名称,照抄使用
回复速度非常慢 模型退到纯 CPU 运行 检查显卡驱动与框架是否支持你的显卡,确认是否真正用上 GPU
磁盘被占满 下载了多个大模型、缓存堆积 用 ollama rm 删除不用的模型,检查默认存储路径所在分区

五、排查方法

本地模型跑不起来,按这个顺序查:

  1. 先确认安装:ollama --version 能输出版本号,说明工具本身没问题。
  2. 再确认模型:ollama list 看模型是否在、名字拼写是否正确。
  3. 用 ollama run 模型名:标签 直接对话,排除是自己代码的问题还是模型的问题。命令行能聊,说明模型和加载都正常。
  4. 命令行正常、代码不通,就查接口:确认服务在运行、地址和端口正确、请求字段符合官方文档,先看响应里的错误信息再动手改。
  5. 遇到显存不足:用 nvidia-smi(英伟达)或系统任务管理器看显存占用,关掉占显存的程序;仍不够就换更小的量化标签。
  6. 速度异常慢:确认是否用上 GPU。查显卡驱动版本、确认推理框架支持你的显卡架构,必要时查官方文档的 GPU 支持说明。
  7. 全部无效时,换一个更小的模型做对照。如果小模型正常,问题基本锁定在资源或模型本身,而不是环境配置。

六、注意事项

本文讲的是通用流程,Ollama 的安装方式、默认端口、接口字段、模型库和标签都会随版本更新而变化,文中出现的命令结构和占位名称请以 Ollama 官网与官方文档为准,不要照抄示例里的模型名。模型的能力、体积、显存需求没有统一标准,不同发布方差异很大,选型时以官方模型卡片说明为准。本地运行涉及模型权重的下载与存储,注意磁盘空间与版权许可,遵守模型发布方的使用协议。处理敏感数据时,本地部署虽能减少外传风险,但也要做好本机访问控制和文件权限管理。


免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。