Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
J
jinchat-server
概览
概览
详情
活动
周期分析
版本库
存储库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
aigc-pioneer
jinchat-server
Commits
0f43845a
提交
0f43845a
authored
7月 23, 2023
作者:
imClumsyPanda
浏览文件
操作
浏览文件
下载
差异文件
merge master
上级
1e1075b9
3f76cb5f
隐藏空白字符变更
内嵌
并排
正在显示
3 个修改的文件
包含
2 行增加
和
2 行删除
+2
-2
README.md
README.md
+1
-1
INSTALL.md
docs/INSTALL.md
+1
-1
qr_code_45.jpg
img/qr_code_45.jpg
+0
-0
没有找到文件。
README.md
浏览文件 @
0f43845a
...
@@ -255,7 +255,7 @@ Web UI 可以实现如下功能:
...
@@ -255,7 +255,7 @@ Web UI 可以实现如下功能:
-
[
x
]
VUE 前端
-
[
x
]
VUE 前端
## 项目交流群
## 项目交流群
<img
src=
"img/qr_code_4
4
.jpg"
alt=
"二维码"
width=
"300"
height=
"300"
/>
<img
src=
"img/qr_code_4
5
.jpg"
alt=
"二维码"
width=
"300"
height=
"300"
/>
🎉 langchain-ChatGLM 项目微信交流群,如果你也对本项目感兴趣,欢迎加入群聊参与讨论交流。
🎉 langchain-ChatGLM 项目微信交流群,如果你也对本项目感兴趣,欢迎加入群聊参与讨论交流。
docs/INSTALL.md
浏览文件 @
0f43845a
...
@@ -49,7 +49,7 @@ $ python loader/image_loader.py
...
@@ -49,7 +49,7 @@ $ python loader/image_loader.py
## llama-cpp模型调用的说明
## llama-cpp模型调用的说明
1.
首先从huggingface hub中下载对应的模型,如
https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/的
[
ggml-vic13b-q5_1.bin
](
https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/blob/main/ggml-vic13b-q5_1.bin
)
,建议使用huggingface_hub库的snapshot_download下载。
1.
首先从huggingface hub中下载对应的模型,如
[
https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/
](
https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/
)
的
[
ggml-vic13b-q5_1.bin
](
https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/blob/main/ggml-vic13b-q5_1.bin
)
,建议使用huggingface_hub库的snapshot_download下载。
2.
将下载的模型重命名。通过huggingface_hub下载的模型会被重命名为随机序列,因此需要重命名为原始文件名,如
[
ggml-vic13b-q5_1.bin
](
https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/blob/main/ggml-vic13b-q5_1.bin
)
。
2.
将下载的模型重命名。通过huggingface_hub下载的模型会被重命名为随机序列,因此需要重命名为原始文件名,如
[
ggml-vic13b-q5_1.bin
](
https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/blob/main/ggml-vic13b-q5_1.bin
)
。
3.
基于下载模型的ggml的加载时间,推测对应的llama-cpp版本,下载对应的llama-cpp-python库的wheel文件,实测
[
ggml-vic13b-q5_1.bin
](
https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/blob/main/ggml-vic13b-q5_1.bin
)
与llama-cpp-python库兼容,然后手动安装wheel文件。
3.
基于下载模型的ggml的加载时间,推测对应的llama-cpp版本,下载对应的llama-cpp-python库的wheel文件,实测
[
ggml-vic13b-q5_1.bin
](
https://huggingface.co/vicuna/ggml-vicuna-13b-1.1/blob/main/ggml-vic13b-q5_1.bin
)
与llama-cpp-python库兼容,然后手动安装wheel文件。
4.
将下载的模型信息写入configs/model_config.py文件里
`llm_model_dict`
中,注意保证参数的兼容性,一些参数组合可能会报错.
4.
将下载的模型信息写入configs/model_config.py文件里
`llm_model_dict`
中,注意保证参数的兼容性,一些参数组合可能会报错.
img/qr_code_45.jpg
0 → 100644
浏览文件 @
0f43845a
191.7 KB
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论