type
status
date
slug
summary
tags
category
icon
password

本篇图文记录我的一个摸索过程(已成功可复制):在电脑上部署一个本地的ai纯文本大模型。
为什么要部署本地ai大模型,实现ai私有化?
答:私有化部署的核心在于将AI模型“请回家”,在你的本地服务器或个人电脑上运行。这与直接调用云端API有本质区别,其优势主要体现在以下几个方面:
- 数据安全与隐私保障。所有数据处理均在本地完成,敏感数据无需上传至第三方云端,从根本上避免了数据泄露的风险
- 定制化与灵活性。你可以根据自己的特定需求和领域数据对模型进行微调
- 性能与延迟优化。模型推理在本地网络中进行,消除了网络传输延迟,响应速度更快(还记得2025年初deepseek的服务器繁忙中,请稍后重试吗?qaq)
- 长期成本可控。虽然初期投入较高,但对于中高频度的使用需求,长期来看总成本通常低于持续支付云端API的调用费用。(本文主要考虑个人小幅度使用,主要成本在于电脑配置)
- 避免外部依赖与服务中断。你不必担心AI服务提供商的政策变动、API涨价或服务宕机等问题,实现了技术自主和业务连续性
前提准备:
- 零计算机基础需求,无需写代码的能力
- 一台配置过得去的电脑,基于已有电脑的性能可以使用不同的模型
- 抛开下载时间,前后需要总时长二十分钟左右
你将获得:
一个可以在本地运行的ai纯文本大模型
流程:
查看电脑操作系统与配置-》ai模型获取与转换-》本地部署-》初始化与额外功能配置
- 查看电脑操作系统与配置
- 在桌面找的我的电脑的图标,右键-属性,然后获得系统界面(图为例)
- 此文默认读者零电脑基础为前提,因此将电脑配置的截图直接发给ai咨询就行(推荐腾讯元宝等)
- 根据例子中的电脑配置,腾讯元宝给出的建议是本地部署deepseek-r1-7b大模型


题外话:
deepseek-r1-7b命名由来,deepseek指模型名称,r1(reasoning one)指推理版本,7b(7 billion)指的是训练该模型的数据约七十个亿token。腾讯元宝应用的deepseek模型训练量约为八万亿的token。
- ai模型获取与转换&本地部署
- ai本地部署一般来说可以借用现有的框架app,本文推荐的是Ollama或LM Studio
- 运行Ollama,下载第一部中ai推荐的本地模型
前往Ollama官网https://ollama.com/download下载Ollama. 例子中的电脑选择windows系统版本。


如果列表中没找到推荐的模型,打开命令指示符(windows+R,输入cmd),手动输入,以图中电脑配置为例,输入
ollama pull deepseek-r1:7b
下载完成后进度条100%:

测试:

- 初始化与额外功能配置
- 本文的ui应用我们以Docker Desktop为例https://www.docker.com/products/docker-desktop/
- 下载安装完毕后在命令指示符输入
docker --version检查docker安装状况 - 启动Docker,在命令指示符输入docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui-data:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
- 已经可以看到docker占用了一个端口来运行本地ai了,点击三角形符号运行,然后端口就可以选中了,点击后会在浏览器获得操作界面。
- 简单注册一个本地管理员账号,此时我们获取了一个更好的本地ai界面:可以上传文件了,但还无法联网
- 选取下载好的ai模型
- 用户名-设置-管理员设置-模型-选中模型-保存并更新
完成上述步骤一个简单的本地ai模型已经完成了,注意,这是一个纯文本的ai模型,他无法识别你发给他的图片或者文件,如果要实现这些复杂功能,需要下载其他的模型,这个另谈,这一步我们要解决的问题是:Ollama提供的界面过于简易,缺少一些基础功能,实用性欠缺
因此我们接下来是要借助一个ui应用优化使用体验,获取包括上传文件功能,联网搜索功能等。


等待下载完成







P.s:此处如果没有显示模型需要手动添加


- 联网搜索功能
- 用户名-设置-管理员设置-模型-联网搜索-启动联网搜索-选择联网搜索引擎-保存
- 回到主界面后会发现多了一个可勾选的联网搜索。
此时回到主界面已经有刚才保存的模型了,接下来实现联网搜索功能


此处推荐选择DDGS搜索引擎,因为这个无需额外配置就可以直接使用。

本地ai部署完毕
2025.10.13
谢谢观看
后续:私有ai大模型培训-更个性化的适用于个人的ai