一、基础知识
Ollama 是一个把"下载模型、加载模型、提供对话接口"打包在一起的本地工具。没有它之前,跑一个开源模型你要自己配 Python 环境、装推理框架、下载权重文件、写加载代码;有了它,一条命令就能下载并运行模型,它还在本地起一个服务,让你的程序通过接口调用模型。
理解三个概念就够用了:
- 模型权重:模型的"大脑文件",体积从几百兆到几十 GB 不等。参数量越大通常能力越强,但占用内存和显存也越多。
- 参数量:常见写法像 7B、8B、14B,"B"是十亿(billion)参数。数字越大越吃资源。这不是精确性能指标,只是一个规模参考。
- 量化:把权重从高精度数字压缩成低精度表示的技术,能大幅减小模型体积、降低显存占用,代价是可能有轻微质量损失。量化精度常见有 4 位、8 位等,具体命名和含义以模型发布方的说明为准。
Ollama 里的模型名通常类似 名称:标签,标签用来区分参数规模和量化版本,比如同一模型可能有多个不同大小的标签。由于模型库和标签会持续更新,具体有哪些可选模型、标签怎么写,请到 Ollama 官方模型库查看,不要照搬别人文章里的旧名字。
显存(GPU 显存)和内存(RAM)要分清。模型运行时优先用显存,显存不够会退到内存,速度明显变慢;两者都不够就会直接报错或被系统终止。所以"显存避坑"的本质是:选一个体积能塞进你硬件的模型。
二、实操步骤
第一步,安装 Ollama。
Linux / macOS 用官方安装脚本(执行前建议先到官网确认脚本地址):
curl -fsSL https://ollama.com/install.sh | sh
Windows 用户到 Ollama 官网下载安装包,按向导安装即可。安装脚本地址、安装包入口和系统要求可能变化,请以 Ollama 官网为准。
第二步,确认安装成功,查看版本:
ollama --version
第三步,下载并运行一个模型。模型名请换成官方模型库里你选的那个:
ollama pull 模型名:标签
ollama run 模型名:标签
pull 只下载,run 会在没下载时自动下载并直接进入交互式对话。看到对话框出现后,输入问题就能聊,输入 /bye 退出。
第四步,查看本地已有哪些模型,以及占用的磁盘空间:
ollama list
第五步,用代码调用本地服务。Ollama 默认在本机提供一个 HTTP 接口,普通程序可以直接请求它。下面是 Python 示例,依赖只有标准库加常用的 requests:
pip install requests
import requests
url = "http://localhost:11434/api/generate"
payload = {
"model": "模型名:标签", # 换成 ollama list 里显示的名字
"prompt": "用一句话解释什么是量化。",
"stream": False,
}
resp = requests.post(url, json=payload, timeout=120)
resp.raise_for_status()
print(resp.json()["response"])
接口路径和字段以 Ollama 官方文档为准;不同版本的默认端口、字段可能调整,报错时先核对接口文档。
第六步,管理模型。不需要的模型可以删除,释放磁盘空间:
ollama rm 模型名:标签
三、关键细节
- 先看硬件再选模型。用系统任务管理器或
nvidia-smi(英伟达显卡)查看显存容量,再对照模型文件大小估算能不能装下,模型文件通常比显存略大才舒服。 - 量化版本是显存紧张时的首选。同一模型的不同量化标签,体积可能相差一倍以上,优先试更小的量化版本,质量损失在多数对话场景里不明显。
- 参数量不是越大越好。在配置有限的机器上,一个响应流畅的小模型,体验往往好过一个卡到大半分钟才出字的大模型。
- 模型文件默认存放在系统盘,多个模型累积很容易占满磁盘,安装前确认可用空间,必要时查官方文档了解如何改存储路径。
- 有独显不代表一定能用上。推理框架对显卡型号、驱动、算力架构有要求,跑不起来时先确认驱动是否为较新版本。
- 本地模型的能力和在线大模型有差距。它适合隐私敏感、离线、简单稳定的任务,复杂推理任务要理性预期。
四、常见错误
| 现象 | 原因 | 修正 |
|---|---|---|
| 运行报显存不足或进程被杀 | 模型体积超过显存与内存总和 | 换更小的参数量或更低量化的标签,关闭占用显存的其他程序 |
| 下载卡住或极慢 | 网络到模型仓库不稳定 | 重试、换网络环境,或按官方文档配置镜像/代理 |
| 代码请求接口报连接失败 | 服务没启动,或端口/地址写错 | 先 ollama list 确认服务可用,核对接口地址和端口 |
| 提示找不到模型名 | 模型名或标签写错,或未下载 | 用 ollama list 查看已下载模型的准确名称,照抄使用 |
| 回复速度非常慢 | 模型退到纯 CPU 运行 | 检查显卡驱动与框架是否支持你的显卡,确认是否真正用上 GPU |
| 磁盘被占满 | 下载了多个大模型、缓存堆积 | 用 ollama rm 删除不用的模型,检查默认存储路径所在分区 |
五、排查方法
本地模型跑不起来,按这个顺序查:
- 先确认安装:
ollama --version能输出版本号,说明工具本身没问题。 - 再确认模型:
ollama list看模型是否在、名字拼写是否正确。 - 用
ollama run 模型名:标签直接对话,排除是自己代码的问题还是模型的问题。命令行能聊,说明模型和加载都正常。 - 命令行正常、代码不通,就查接口:确认服务在运行、地址和端口正确、请求字段符合官方文档,先看响应里的错误信息再动手改。
- 遇到显存不足:用
nvidia-smi(英伟达)或系统任务管理器看显存占用,关掉占显存的程序;仍不够就换更小的量化标签。 - 速度异常慢:确认是否用上 GPU。查显卡驱动版本、确认推理框架支持你的显卡架构,必要时查官方文档的 GPU 支持说明。
- 全部无效时,换一个更小的模型做对照。如果小模型正常,问题基本锁定在资源或模型本身,而不是环境配置。
六、注意事项
本文讲的是通用流程,Ollama 的安装方式、默认端口、接口字段、模型库和标签都会随版本更新而变化,文中出现的命令结构和占位名称请以 Ollama 官网与官方文档为准,不要照抄示例里的模型名。模型的能力、体积、显存需求没有统一标准,不同发布方差异很大,选型时以官方模型卡片说明为准。本地运行涉及模型权重的下载与存储,注意磁盘空间与版权许可,遵守模型发布方的使用协议。处理敏感数据时,本地部署虽能减少外传风险,但也要做好本机访问控制和文件权限管理。
免责声明:本文为个人学习与实操经验总结,仅代表个人观点,不构成任何技术或商业决策建议。不同系统环境与版本可能存在差异,实际操作请以官方文档为准并自行验证。

评论
还没有评论,来说两句吧。