通过Ollama部署本地AI向量模型BGE-M3
需求描述
希望在自己电脑的windows11环境部署一套本地AI向量模型，如何操作，以下通过O llama平台 部署向量模型BGE-M3为例进行说明。
实现效果
部署过程
1、下载Ollama
Windows环境下载地址：ollama. 商业网/download/OllamaSetup.exe
2、安装Ollama
要将 Ollama 应用程序安装在主目录以外的位置（比如安装在E:\ollama），请使用以下标志启动安装程序（以Ollama安装文件下载到了E盘进行说明）
OllamaSetup.exe /DIR="E:\ollama"
3、设置环境变量
变量：OLLAMA_HOST，值： http://0.0.0.0:11434
变量：OLLAMA_MODELS，值：Ollama
4、重启ollama（重启后环境变量配置才能生效）
（1）、通过任务管理器结束进程：右键任务栏 → 选择“任务管理器” → 在“进程”选项卡中找到 ollama.exe 或
Ollama app.exe → 点击“结束任务”。
（2）、重新启动应用：
通过桌面快捷方式、开始菜单或任务栏图标重新打开 Ollama 。
5、安装BGE-M3
ollama pull bge-m3
适用版本
在Windows 11 专业版 24H2 环境测试通过，基他操作系统环境请自行尝试
注意事项
1、Ollama可安装的其他模型可参考以下链接中说明：
https://www.cdsy.xyz/computer/programme/artificial_intelligence/251225/cd75150.html
2、特别注意：安装完Ollama之后，如果没有重启Ollama，直接执行run模型的命令，模型会安装到默认的地址，电脑关机再次开启的时候，Ollama也重启了，这时候环境变量配置会生效，再执行run模型的命令，会到环境变量配置的路径下去寻找模型，此时会找不到模型，会让你重新下载。
3、bge-m3模型不支持run，只能使用pull命令安装。
模型库
Ollama 支持 ollama 商业网/library 上可用的模型列表
以下是一些可以下载的示例模型：
| 型 | 参数 | 大小 | 下载 |
|---|---|---|---|
| Deepseek-R1 | 7B | 4.7GB | ollama run deepseek-r1 |
| Deepseek-R1 | 671B | 404GB | ollama run deepseek-r1:671b |
| llama 3.3 | 70B | 43GB | ollama run llama3.3 |
| llama 3.2 | 3B | 2.0GB | ollama run llama3.2 |
| llama 3.2 | 1B | 1.3GB | ollama run llama3.2:1b |
| llama 3.2 Vision | 11B | 7.9GB | ollama run llama3.2-vision |
| llama 3.2 Vision | 90B | 55GB | ollama run llama3.2-vision:90b |
| llama 3.1 | 8B | 4.7GB | ollama run llama3.1 |
| llama 3.1 | 405B | 231GB | ollama run llama3.1:405b |
| Phi 4 | 14B | 9.1GB | ollama run phi4 |
| Phi 3 Mini | 3.8 字节 | 2.3GB | ollama run phi3 |
| Gemma 2 | 2B | 1.6GB | ollama run gemma2:2b |
| Gemma 2 | 9B | 5.5GB | ollama run gemma2 |
| Gemma 2 | 27B | 16GB | ollama run gemma2:27b |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Moondream 2 | 1.4B | 829MB | ollama run moondream |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Solar | 10.7B | 6.1GB | ollama run solar |
[!注意] 您应该至少有 8 GB 的 RAM 来运行 7B 型号，16 GB 的 RAM 来运行 13B 的型号，32 GB 的 RAM 来运行 33B 型号。
自定义模型
从 GGUF 导入
Ollama 支持在 Modelfile 中导入 GGUF 模型：
- 创建一个名为Modelfile，其中FROM指令替换为要导入的模型的本地文件路径。
FROM ./vicuna-33b.Q4_0.gguf - 在 Ollama 中创建模型
ollama create example -f Modelfile - 运行模型
ollama run example
湘公网安备 43102202000103号