Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
J
jinchat-server
概览
概览
详情
活动
周期分析
版本库
存储库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
aigc-pioneer
jinchat-server
Commits
3c66fc3b
Unverified
提交
3c66fc3b
authored
6月 30, 2023
作者:
jinke
提交者:
GitHub
6月 30, 2023
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
向Readme添加Docker整合包描述 (#746)
上级
1612c891
显示空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
18 行增加
和
1 行删除
+18
-1
README.md
README.md
+18
-1
docker_logs.png
img/docker_logs.png
+0
-0
没有找到文件。
README.md
浏览文件 @
3c66fc3b
...
@@ -23,7 +23,7 @@
...
@@ -23,7 +23,7 @@
🚩 本项目未涉及微调、训练过程,但可利用微调或训练对本项目效果进行优化。
🚩 本项目未涉及微调、训练过程,但可利用微调或训练对本项目效果进行优化。
🐳 Docker镜像:registry.cn-beijing.aliyuncs.com/isafetech/chatmydata:1.0 (感谢 @InkSong )
🐳 Docker镜像:registry.cn-beijing.aliyuncs.com/isafetech/chatmydata:1.0 (感谢 @InkSong
🌲
)
💻 运行方式:docker run -d -p 80:7860 --gpus all registry.cn-beijing.aliyuncs.com/isafetech/chatmydata:1.0
💻 运行方式:docker run -d -p 80:7860 --gpus all registry.cn-beijing.aliyuncs.com/isafetech/chatmydata:1.0
...
@@ -64,6 +64,23 @@
...
@@ -64,6 +64,23 @@
本项目中默认选用的 Embedding 模型 [GanymedeNil/text2vec-large-chinese](https://huggingface.co/GanymedeNil/text2vec-large-chinese/tree/main) 约占用显存 3GB,也可修改为在 CPU 中运行。
本项目中默认选用的 Embedding 模型 [GanymedeNil/text2vec-large-chinese](https://huggingface.co/GanymedeNil/text2vec-large-chinese/tree/main) 约占用显存 3GB,也可修改为在 CPU 中运行。
## Docker 整合包
🐳 Docker镜像地址:
`registry.cn-beijing.aliyuncs.com/isafetech/chatmydata:1.0 `
🌲
💻 一行命令运行:
```
shell
docker run
-d
-p
80:7860
--gpus
all registry.cn-beijing.aliyuncs.com/isafetech/chatmydata:1.0
```
-
该版本镜像大小
`25.2G`
,使用
[
v0.1.16
](
https://github.com/imClumsyPanda/langchain-ChatGLM/releases/tag/v0.1.16
)
,以
`nvidia/cuda:12.1.1-cudnn8-runtime-ubuntu22.04`
为基础镜像
-
该版本内置两个
`embedding`
模型:
`m3e-base`
,
`text2vec-large-chinese`
,内置
`fastchat+chatglm-6b`
-
该版本目标为方便一键部署使用,请确保您已经在Linux发行版上安装了NVIDIA驱动程序
-
请注意,您不需要在主机系统上安装CUDA工具包,但需要安装
`NVIDIA Driver`
以及
`NVIDIA Container Toolkit`
,请参考
[
安装指南
](
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html
)
-
首次拉取和启动均需要一定时间,首次启动时请参照下图使用
`docker logs -f <container id>`
查看日志
-
如遇到启动过程卡在
`Waiting..`
步骤,建议使用
`docker exec -it <container id> bash`
进入
`/logs/`
目录查看对应阶段日志
!
[
](img/docker_logs.png)
## Docker 部署
## Docker 部署
为了能让容器使用主机GPU资源,需要在主机上安装
[
NVIDIA Container Toolkit
](
https://github.com/NVIDIA/nvidia-container-toolkit
)
。具体安装步骤如下:
为了能让容器使用主机GPU资源,需要在主机上安装
[
NVIDIA Container Toolkit
](
https://github.com/NVIDIA/nvidia-container-toolkit
)
。具体安装步骤如下:
```
shell
```
shell
...
...
img/docker_logs.png
0 → 100644
浏览文件 @
3c66fc3b
69.0 KB
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论