前言

llama_20">部署O llama

部署o llama非常简单直接输入：

curl -fsSL https://o llama.com/install.sh | sh

安装成功后使用下述命令查看版本信息，如果可以显示则代表已经安装好：

o llama -v

部署Llama3

官网地址：library (o llama.com)

我们可以通过官网查看适合自己 服务器GPU大小的模型，点击想要下载的模型之后右侧会有对应的代码，直接在 服务器上面下载模型即可，模型的默认安装位置为 ”/usr/share/o llama/.o llama/models“。

部署open-webui

Open WebUI基于docker部署，docker的安装方法可以参考这篇知乎文章。

执行以下docker命令来拉取并运行open-webui：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

如果发现为开启的话，我们使用docker命令运行image即可：

docker run -d ghcr.nju.edu.cn/open-webui/open-webui

之后访问 服务器的3000端口，就可以访问到我们的UI界面了。这样我们就部署好了大语言模型以及UI界面。

结语

1. 我们注册的第一个用户默认是管理员，其他用户进行注册的时候需要经过管理员的同意，如果不想这么麻烦的话可以在UI界面设置—”默认用户角色“，设置为用户即可。

2. 下载模型时可以直接在UI界面下载模型，这样节省时间（管理员）；同时还可以设置UI界面的使用语言：

参考：

Linux快速部署大语言模型LLaMa3，Web可视化j交互（O llama+Open Web UI）_o llama3 下载-CSDN博客

服务器部署开源大模型完整教程 O llama+Gemma+open-webui - 哔哩哔哩 (bilibili.com)