根据您的描述,您很可能在寻找一个可以在自己电脑上运行的、类似ChatGPT的本地AI助手,目前最符合这个描述的主流开源项目是 Ollama,它简单易用,非常适合新手,另一个可能是 OpenWebUI(原名Ollama WebUI)这类给Ollama加图形界面的工具。

本地AI助手(以Ollama为例)新手实操指南
第一步:准备工作与下载
-
确认电脑配置:
- 系统:支持Windows(64位)、macOS(Linux更不用说)。
- 内存:至少8GB,运行大模型推荐16GB或以上。
- 硬盘:模型文件较大(几个GB到几十个GB),请留出足够空间。
-
下载与安装:
- 访问Ollama官网:
https://ollama.com - 点击首页大大的 “Download” 按钮。
- 选择对应的操作系统(Windows/macOS/Linux)版本下载。
- 下载完成后,像安装普通软件一样安装它(Windows是.exe,macOS是.dmg)。
- 访问Ollama官网:
第二步:安装与运行你的第一个AI模型
Ollama安装后,会在后台运行,你需要打开 命令提示符(Windows) 或 终端(macOS/Linux) 来操作。
-
打开终端:
- Windows:在开始菜单搜索“cmd”或“命令提示符”,打开它。
- macOS:按
Command + 空格,输入“终端”,打开它。
-
拉取(下载)一个AI模型: 在终端里输入以下命令,然后按回车,这里我们从一个“小”而“强”的模型开始,非常适合新手。
ollama run qwen2.5:7b
qwen2.5:7b是阿里巴巴通义千问的一个优秀开源模型,对中文支持很好。- 首次运行会自动下载模型文件,请保持网络畅通,耐心等待。
- 下载成功后,会自动进入对话模式,你会看到
>>>提示符。
-
开始你的第一次对话: 在
>>>后面直接输入问题,按回车即可。>>> 你好,请介绍一下你自己。模型会开始生成回答,恭喜,你已经成功运行了一个本地AI!
第三步:基础操作与常用命令
退出对话模式后,在终端里可以使用以下命令管理模型:
| 命令 | 说明 |
|---|---|
ollama run <模型名> |
运行一个模型并与之对话。 |
ollama list |
查看你电脑上已经下载的所有模型。 |
ollama pull <模型名> |
只下载模型,不立即运行。 |
ollama rm <模型名> |
删除一个已下载的模型,释放硬盘空间。 |
ollama help |
查看所有可用命令。 |
第四步:探索更多模型(不同的“小龙虾品种”)
Ollama 支持众多开源模型,你可以把它们理解为不同品种和口味的“AI小龙虾”:
- 中文优选:
ollama run qwen2.5:14b # 更强的通义千问 ollama run llama3.2:3b # Meta出品,小巧快速
- 英文/代码强:
ollama run llama3.1:8b # Meta最新Llama 3.1系列,综合能力强 ollama run codellama:7b # 专注编程的模型 ollama run mistral:7b # 以高效著称的模型
第五步:使用图形界面(可选,更友好)
如果你不习惯命令行,可以给它安装一个“外壳”,就像给发动机装上车身。
-
推荐:Open WebUI(强烈推荐给新手)
- 这是一个类似ChatGPT网页界面的开源项目。
- 访问其GitHub页面 (
https://github.com/open-webui/open-webui) 查看安装说明。 - 通常只需在终端执行一行Docker命令即可启动,然后在浏览器访问
http://localhost:3000就能享受漂亮的聊天界面,背后连接着你本地的Ollama模型。
-
其他选择:
Continue(VS Code插件)、Ollama Buddy(Mac菜单栏工具)等。
第六步:进阶与提示
- 联网搜索:默认模型知识有截止日期,且无法联网,可以通过安装
Web Search插件或使用能联网的特定模型来实现。 - 角色扮演:你可以通过系统指令让AI扮演特定角色。
>>> /set parameter system "你是一个幽默的AI小龙虾,名字叫OpenClaw,回答时要带点海鲜风味。" - 资源监控:运行大模型时,可以打开任务管理器(Windows)或活动监视器(macOS)查看CPU/内存/GPU占用。
重要提醒与安全须知
- 完全免费:Ollama和它管理的开源模型都是免费的,但需要你自己的算力(电费)。
- 隐私安全:所有对话都在你的电脑本地进行,没有隐私泄露风险。
- 能力边界:本地模型的性能无法和GPT-4等顶级商用模型相比,但对于学习、写作辅助、轻度编程、本地知识库问答等场景完全足够。
- 可能遇到的问题:
- 下载慢:由于网络原因,下载模型可能较慢,请耐心等待或尝试科学上网。
- 运行慢:如果模型运行卡顿,可以尝试更小的模型(如
qwen2.5:3b,llama3.2:3b)。 - 找不到命令:确保Ollama后台服务已启动(安装后通常会自动启动)。
希望这份指南能帮助您成功“烹饪”出属于您自己的本地“AI小龙虾”!如果您在操作中遇到任何具体问题,随时可以提问,祝您玩得开心!