使用 ollama 部署本地中文模型

一、ollama简介

Ollama 是一个开源框架，它允许用户在本地环境中运行大型语言模型（LLMs）。该框架的主要优势在于其提供了对多种主流LLM模型的支持，并且允许用户导入并运行自己训练或定制的小众模型。通过使用 Ollama，用户可以享受到强大的语言处理能力，同时保持对数据的本地控制。

二、ubuntu 安装 ollama

2.1 安装

Linux 安装 ollama 比较简单，可以在终端上用命令运行。

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
# 下载ollama文件到指定位置/usr/bin/ollama

sudo chmod +x /usr/bin/ollama
# 添加执行权限

2.2 创建Ollama用户

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

2.3 设置启动服务

sudo nano /etc/systemd/system/ollama.service

# 配置文件如下
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/home/ps/anaconda3/bin:/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MODELS=/jppeng/app/models/ollama"

[Install]
WantedBy=default.target

2.4 启动防火墙11434端口

ufw allow 11434/tcp

三、ollama 下载中文模型

3.1 选择模型

OpenBuddy 是一款强大的开源多语言聊天机器人模型，面向全球用户，重点强调对话 AI 和无缝多语言支持，包括英语、中文和其他语言。

基于 Tii 的 Falcon 模型和 Facebook 的 LLaMA 模型构建，OpenBuddy 经过微调，包括扩展词汇表、增加常见字符和增强 token 嵌入。通过利用这些改进和多轮对话数据集，OpenBuddy 提供了一个强大的模型，能够回答各种语言的问题并执行翻译任务。

3.2 ollama 运行模型

ollama run openbuddy/openbuddy-llama3-8b-v21.1-8k

3.3 测试中文模型

四、安装Open WebUI

4.1 Open WebUI 简介

Open WebUI是一个可扩展、功能丰富且用户友好的自托管 WebUI，它支持完全离线操作，并兼容 Ollama 和 OpenAI 的 API 。这为用户提供了一个可视化的界面，使得与大型语言模型的交互更加直观和便捷。

4.2 docker 安装 Open WebUI

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

4.3 开启防火墙3000端口

ufw allow 3000/tcp

4.4 体验 Open WebUI

访问 http://localhost:3000

首次登录，输入邮箱密码注册，即可登录。

选择模型 openbuddy/openbuddy-llama3-8b-v21.1-8k:latest，即可在对话框中输入文字，开始对话。

上传文档，基于文本进行更深层次的知识交互。

五、最后

Open WebUI还有很多其它功能，比如它本身自带RAG。可以在对话框中输入“#”，然后跟上网址，即可访问网页的实施信息，并进行内容生成。还可以上传文档，基于文本进行更深层次的知识交互。如果你对知识库的要求不高，做到这一点以后，基本能满足大多数个人的需求了。