提交 dcf6e4ff 作者: imClumsyPanda

update README.md

上级 64406cee
...@@ -32,6 +32,10 @@ ...@@ -32,6 +32,10 @@
- ChatGLM-6B 模型硬件需求 - ChatGLM-6B 模型硬件需求
注:如未将模型下载至本地,请执行前检查`$HOME/.cache/huggingface/`文件夹剩余空间,模型文件下载至本地需要 15 GB 存储空间。
模型下载方法可参考 [常见问题](docs/FAQ.md) 中 Q8。
| **量化等级** | **最低 GPU 显存**(推理) | **最低 GPU 显存**(高效参数微调) | | **量化等级** | **最低 GPU 显存**(推理) | **最低 GPU 显存**(高效参数微调) |
| -------------- | ------------------------- | --------------------------------- | | -------------- | ------------------------- | --------------------------------- |
| FP16(无量化) | 13 GB | 14 GB | | FP16(无量化) | 13 GB | 14 GB |
...@@ -40,6 +44,10 @@ ...@@ -40,6 +44,10 @@
- MOSS 模型硬件需求 - MOSS 模型硬件需求
注:如未将模型下载至本地,请执行前检查`$HOME/.cache/huggingface/`文件夹剩余空间,模型文件下载至本地需要 70 GB 存储空间
模型下载方法可参考 [常见问题](docs/FAQ.md) 中 Q8。
| **量化等级** | **最低 GPU 显存**(推理) | **最低 GPU 显存**(高效参数微调) | | **量化等级** | **最低 GPU 显存**(推理) | **最低 GPU 显存**(高效参数微调) |
|-------------------|-----------------------| --------------------------------- | |-------------------|-----------------------| --------------------------------- |
| FP16(无量化) | 68 GB | - | | FP16(无量化) | 68 GB | - |
...@@ -114,8 +122,6 @@ $ pnpm i ...@@ -114,8 +122,6 @@ $ pnpm i
$ npm run dev $ npm run dev
``` ```
注:如未将模型下载至本地,请执行前检查`$HOME/.cache/huggingface/`文件夹剩余空间,至少15G(MOSS模型下载需要70G)。
执行后效果如下图所示: 执行后效果如下图所示:
1. `对话` Tab 界面 1. `对话` Tab 界面
![](img/webui_0510_0.png) ![](img/webui_0510_0.png)
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论