米尔嘉
米尔嘉
发布于 2024-04-08 / 33 阅读
1
0

FastGPT:一个基于 LLM 大语言模型的知识库问答系统

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排,从而实现复杂的问答场景!

使用 Docker Compose 快速部署 FastGPT

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json
# 拉取镜像
docker-compose pull
# 启动容器
docker-compose up -d
# 等待10s,OneAPI第一次总是要重启几次才能连上Mysql
sleep 10
# 重启一次oneapi(由于OneAPI的默认Key有点问题,不重启的话会提示找不到渠道,临时手动重启一次解决,等待作者修复)
docker restart oneapi

打开 OneAPI 添加模型

详情:https://doc.fastai.site/docs/development/one-api

修改 FastGPT 的环境变量
有了 One API 令牌后,FastGPT 可以通过修改 baseurl 和 key 去请求到 One API,再由 One API 去请求不同的模型。修改下面两个环境变量:

下面的地址是 Sealos 提供的,务必写上 v1, 两个项目都在 sealos 部署时候,https://xxxx.cloud.sealos.io 可以改用内网地址

OPENAI_BASE_URL=https://xxxx.cloud.sealos.io/v1

下面的 key 是由 One API 提供的令牌

CHAT_API_KEY=sk-xxxxxx

重启服务

docker-compose down
docker-compose up -d

升级镜像

docker-compose down
docker-compose pull
docker-compose up -d

参考文档


评论