🗒️学习与实践3-本地ai大模型部署
2025-10-13
| 2025-12-15
字数 1085阅读时长 3 分钟
type
status
date
slug
summary
tags
category
icon
password
 
notion image
本篇图文记录我的一个摸索过程(已成功可复制):在电脑上部署一个本地的ai纯文本大模型。
💡
为什么要部署本地ai大模型,实现ai私有化?
答:私有化部署的核心在于将AI模型“请回家”,在你的本地服务器或个人电脑上运行。这与直接调用云端API有本质区别,其优势主要体现在以下几个方面:
  1. 数据安全与隐私保障。所有数据处理均在本地完成,敏感数据无需上传至第三方云端,从根本上避免了数据泄露的风险
  1. 定制化与灵活性。你可以根据自己的特定需求和领域数据对模型进行微调
  1. 性能与延迟优化。模型推理在本地网络中进行,消除了网络传输延迟,响应速度更快(还记得2025年初deepseek的服务器繁忙中,请稍后重试吗?qaq)
  1. 长期成本可控。虽然初期投入较高,但对于中高频度的使用需求,长期来看总成本通常低于持续支付云端API的调用费用。(本文主要考虑个人小幅度使用,主要成本在于电脑配置)
  1. 避免外部依赖与服务中断。你不必担心AI服务提供商的政策变动、API涨价或服务宕机等问题,实现了技术自主和业务连续性
 

前提准备:

  1. 零计算机基础需求,无需写代码的能力
  1. 一台配置过得去的电脑,基于已有电脑的性能可以使用不同的模型
  1. 抛开下载时间,前后需要总时长二十分钟左右
 

你将获得:

一个可以在本地运行的ai纯文本大模型
 

流程:

查看电脑操作系统与配置-》ai模型获取与转换-》本地部署-》初始化与额外功能配置
 
  1. 查看电脑操作系统与配置
    1. 在桌面找的我的电脑的图标,右键-属性,然后获得系统界面(图为例)
      1. notion image
    2. 此文默认读者零电脑基础为前提,因此将电脑配置的截图直接发给ai咨询就行(推荐腾讯元宝等)
      1. notion image
    3. 根据例子中的电脑配置,腾讯元宝给出的建议是本地部署deepseek-r1-7b大模型
      1. 题外话:
        deepseek-r1-7b命名由来,deepseek指模型名称,r1(reasoning one)指推理版本,7b(7 billion)指的是训练该模型的数据约七十个亿token。腾讯元宝应用的deepseek模型训练量约为八万亿的token。
  1. ai模型获取与转换&本地部署
    1. ai本地部署一般来说可以借用现有的框架app,本文推荐的是Ollama或LM Studio
      1. 前往Ollama官网https://ollama.com/download下载Ollama. 例子中的电脑选择windows系统版本。
        notion image
    2. 运行Ollama,下载第一部中ai推荐的本地模型
      1. notion image
        如果列表中没找到推荐的模型,打开命令指示符(windows+R,输入cmd),手动输入,以图中电脑配置为例,输入ollama pull deepseek-r1:7b
        notion image
        下载完成后进度条100%:
        notion image
        测试:
        notion image
  1. 初始化与额外功能配置
    1. 完成上述步骤一个简单的本地ai模型已经完成了,注意,这是一个纯文本的ai模型,他无法识别你发给他的图片或者文件,如果要实现这些复杂功能,需要下载其他的模型,这个另谈,这一步我们要解决的问题是:Ollama提供的界面过于简易,缺少一些基础功能,实用性欠缺
      因此我们接下来是要借助一个ui应用优化使用体验,获取包括上传文件功能,联网搜索功能等。
    2. 本文的ui应用我们以Docker Desktop为例https://www.docker.com/products/docker-desktop/
      1. notion image
    3. 下载安装完毕后在命令指示符输入 docker --version检查docker安装状况
      1. notion image
    4. 启动Docker,在命令指示符输入docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui-data:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
      1. 等待下载完成
        notion image
    5. 已经可以看到docker占用了一个端口来运行本地ai了,点击三角形符号运行,然后端口就可以选中了,点击后会在浏览器获得操作界面。
      1. notion image
        notion image
    6. 简单注册一个本地管理员账号,此时我们获取了一个更好的本地ai界面:可以上传文件了,但还无法联网
      1. notion image
    7. 选取下载好的ai模型
      1. 用户名-设置-管理员设置-模型-选中模型-保存并更新
        1. notion image
notion image
notion image
P.s:此处如果没有显示模型需要手动添加
notion image
notion image
  1. 联网搜索功能
    1. 此时回到主界面已经有刚才保存的模型了,接下来实现联网搜索功能
      notion image
    2. 用户名-设置-管理员设置-模型-联网搜索-启动联网搜索-选择联网搜索引擎-保存
      1. notion image
        此处推荐选择DDGS搜索引擎,因为这个无需额外配置就可以直接使用。
    3. 回到主界面后会发现多了一个可勾选的联网搜索。
      1. notion image
 
 
本地ai部署完毕
2025.10.13
谢谢观看
 
后续:私有ai大模型培训-更个性化的适用于个人的ai
  • 技术
  • 学习
  • 实践
  • 认知分享1-AI的幻觉学习与实践2-个人网站进阶版
    Loading...