大家好，今天给大家分享如何通过Ollama及OpenWebUI快速部署你的专属本地大模型。

一、前置知识

该章节主要介绍Ollama和Open-WebUI的概念性知识，直接部署请转到第二章节直接部署。

1、什么是Ollama?

Ollama是一个专注于本地化部署的开源框架，旨在简化大型语言模型（LLMs）和多模态模型的管理与运行。其核心设计借鉴了容器化思想，通过Modelfile封装模型权重、配置及依赖项，确保环境隔离和一致性，用户可通过命令行工具快速完成模型的下载（如ollama pull mistral）及交互式推理（如ollama run llama2）。

技术优势与架构：

• 本地化与成本优化
  支持在本地CPU/GPU设备上运行模型，减少对云端资源的依赖，适用于数据敏感或网络受限场景。
• 高效资源管理
  采用轻量级容器化技术，动态优化内存与显存使用，例如默认使用量化模型降低资源消耗。
• 多模型支持
  兼容多种主流开源模型，包括Deepseek、Qwen、qwq、Llama系列（如Llama 2/3）、Mistral、Phi-3、Code Llama、Gemma及Zephyr-7b等，覆盖文本生成、代码补全和多模态任务。
• 开发友好性
  提供REST API并与LangChain等框架深度集成，便于构建复杂应用（如知识库问答系统），支持提示工程和流式输出。

应用场景与实践：

• 隐私敏感场景
  企业内部知识库（如结合MaxKB实现文档检索与问答）或医疗数据处理，确保数据不出本地。
• 实时交互需求
  低延迟对话系统，利用GPU加速提升响应速度。
• 离线环境
  在网络不稳定区域部署智能助手或数据分析工具。

实时更新

Ollama社区活跃，定期更新模型库及功能（如新增多模态支持），用户可通过Docker快速部署扩展服务。建议关注其GitHub仓库以获取最新模型和优化方案。

具体详情大家可以自行去官网了解查询，ollama的官网标志是一个小羊驼，大家别找错了哈。

2、什么是Open-WebUI？

Open-WebUI是一款开源、可扩展的自托管Web界面，专为本地化部署和管理大型语言模型（LLM）及多模态模型设计。其核心目标是为用户提供类似ChatGPT的交互体验，同时支持完全离线运行，确保数据隐私与安全性。以下是其核心能力及特性：

核心功能与特性

• 多后端兼容性

支持Ollama、OpenAI兼容API等多种LLM运行器，可灵活对接本地或云端模型服务，实现多模型无缝切换及并行交互。

• 直观交互界面

采用响应式设计，适配桌面和移动设备，提供代码语法高亮、完整的Markdown/LaTeX支持、语音输入（集成Whisper模型）等功能，并支持通过预设提示模板加速对话。

• 本地化增强能力

检索增强生成（RAG）：支持文档直接加载与库管理，通过#命令调用文档内容，深度融合知识检索与生成。

网页内容集成：实时抓取指定URL内容并融入对话，扩展交互的信息来源。

• 模型全生命周期管理

用户可直接通过Web界面下载、删除模型，或上传GGUF格式文件创建自定义Ollama模型，简化模型部署流程。

• 企业级扩展与安全

支持多用户管理、基于角色的访问控制（RBAC），并提供Docker、Kubernetes及Python多种部署方案，满足从个人到企业级的安全与扩展需求。

Open-WebUI通过模块化设计持续迭代，社区驱动的发展模式使其功能不断丰富，成为构建私有化AI基础设施的高效工具。Open-WebUI界面交互同ChatGPT界面极其相似，参考如下：

二、环境搭建

Ollama本地部署指南

零代码·三步上手·隐私无忧

（支持Win/Mac/Linux系统）

---

极简安装（3分钟）

1、下载安装包

• 官网直达：https://ollama.com/download
• 根据系统选择：
• • Windows
    双击安装包，自动配置WSL2环境
  • Mac
    拖拽至Applications文件夹
  • Linux
    复制粘贴一键命令👇

curl -fsSL https://ollama.com/install.sh | sh

2、验证安装

• 打开终端（Windows用PowerShell），输入：

ollama run deepseek-r1:14b

静静等待模型下载并运行，模型运行后效果如下：

等待模型下载成功后，大家就可以在命令行直接提问了，大模型会根据自己知识库的数据回复。想退出的话直接输入“/bye”即可成功退出。

---

模型管理（小白必看）

😊 常用模型推荐

• 轻量首选：phi3（2.3GB·手机也能跑）
• 全能选手：deepseek-r1:7b（4.7GB·中英文流畅）
• 代码神器：deepseek-coder:latest（776 MB 编程问答，轻量）

😊 下载模型

• 预下载命令：

ollama pull 你的模型名称（例如：deepseek-r1:7b，这个模型基本电脑运行内存充足就可以流畅运行）

下载完成后，直接运行如下命令启动：

ollama run 你的模型名称

• 直接运行自动下载：

ollama run 模型名  

直接执行run操作，ollama会先下载对应模型并直接启动，相对较方便。

😊 模型存放位置

至此，其实就可以简单使用命令行来和大模型对话了，但为了更好地用户体验我们需要OpenWebUI这样的前端交互界面。

OpenWebUI本地部署指南

⭐ 准备工作（10分钟，具体速度取决于网速）

1、安装Docker

• Windows/Mac
• • 访问 Docker官网 下载并安装 Docker Desktop。
• Linux：使用以下命令安装 Docker

sudo apt-get update  
sudo apt-get install docker.io  

2、启动 Docker 服务

• Windows/Mac
  安装完成后，启动 Docker Desktop。
• Linux
  使用以下命令启动 Docker 服务：

sudo systemctl start docker
sudo systemctl enable docker  

⭐ 部署 OpenWebUI(*15分钟，具体速度取决于网速*)

官网地址：https://docs.openwebui.com/

方法一：Docker版本快速部署

1、拉取 OpenWebUI 镜像

• 简易部署

打开终端（Windows用PowerShell），输入以下命令：

• 如果Ollama在您的计算机上，执行如下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

• 若要运行支持Nvidia GPU的Open WebUI，执行如下命令效果更好：

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

• 与Ollama捆绑的开放式WebUI部署
• 使用GPU支持：通过运行以下命令来利用GPU资源启动OpenWebUI：

docker run -d -p 3000:8080 --gpus=all --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

• 仅适用于CPU：如果您没有使用GPU，请使用以下命令启动OpenWebUI：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

• 也可简易使用以下命令启 动 OpenWebUI 容器：

docker run -d -p 3000:8080 --name open-webui ghcr.io/open-webui/open-webui:ollama

2、参数解释

参数	作用
-d	后台运行容器（Detached模式），不阻塞终端。
-p 3000:8080	将宿主机的3000端口映射到容器的8080端口，访问http://localhost:3000即可操作Web界面。
--gpus=all	启用所有GPU资源加速推理（需NVIDIA显卡及Docker GPU支持）。
-v ollama:/root/.ollama	挂载名为ollama的卷到容器内路径/root/.ollama，用于保存模型文件（避免容器删除后数据丢失）。
-v open-webui:/app/backend/data	挂载名为open-webui的卷到容器内路径/app/backend/data，保存聊天记录等应用数据。
--name open-webui	指定容器名称为open-webui，便于后续管理（启动/停止：docker start/stop open-webui）。
--restart always	容器意外退出时自动重启，保障服务持续可用。
ghcr.io/open-webui/open-webui:main	使用的镜像地址及标签（ollama标签表示适配Ollama后端）。

3、访问 OpenWebUI

• 打开浏览器，输入以下地址访问 OpenWebUI：

http://localhost:3000

UI界面展示：

点击“开始使用”，然后按照提示创建你的管理员密码

至此，属于你的本地AI大模型及前端WebUI界面就都部署好了。

方法二：Python版OpenWebUI部署

1、安装python11

为什么要装Python11而不是Python最新版本，这点官网有给出解释：

大致意思就是高版本还未通过彻底测试，当前建议使用Python11部署，本人亲测，高版本会报错，所以大家直接用Python11部署即可，我本地使用的是Python3.11.9，亲测可用，大家可参考。

访问如下Python官网历史版本下载链接进行下载：

https://www.python.org/downloads/release/python-3119/

注意： 这里有个小技巧，如果下载别的版本的Python可根据版本自行更改后缀，例如：下载python3.13.2，那就直接浏览器访问如下地址进行下载。

https://www.python.org/downloads/release/python-3132/

根据自己的电脑情况自行选择下载的版本，这里以Windows来举例，32位及64位对应的下载包如下图所示：

安全提示：

• 下载完成后校验一下当前安装包的MD5的值是否和上图对应的MD5保持一致，以Windows举例，可以调用系统命令查看安装包MD5：
• PwerShell方式验证

执行如下命令查看你本地文件的Hash值

Get-FileHash "你文件的绝对路径" -Algorithm MD5 | Format-List

演示示例如下图所示：

• CMD方式验证

执行如下命令查看你本地文件的Hash值

certutil -hashfile "你文件的绝对地址" MD5

演示示例如下图所示：

• 历史版本可能存在安全漏洞或潜在的Bug，个人本地部署影响不大，正式服务器环境部署大家酌情考虑。

2、 安装Open WebUI

打开终端命令行并运行以下命令：

pip install open-webui

3、启动OpenWebUI

安装后，使用以下命令启动服务器：

open-webui serve

4、更新OpenWebUI

要更新到最新版本，只需运行：

pip install --upgrade open-webui

执行第3步后我们耐心等待OpenWebUI启动即可：

如上图所示，命令行出现绿色时间及INFO标识的时候环境启动成功，Python方式启动默认绑定本地8080端口，所以这时访问：http://localhost:8080即可成功访问OpenWebUI，由于Docker版部署已经分享过首次登录注册方式，这里直接展示登录后的界面，如下图：

⭐ OpenWebUI对话演示

OpenWebUI会默认配置Ollama中的所有大模型，供用户选择，如下图：

用户可以随意切换自己想要的大模型来回答问题，当然，OpenWebUI也提供了可以控制大模型输出的各类参数，大家也可以根据自己的理解自行调整，例如让大模型回答的时候返回更多的描述，可调整如下图所示的参数，值越大，模型可返回文字越多：