Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
J
jinchat-server
概览
概览
详情
活动
周期分析
版本库
存储库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
aigc-pioneer
jinchat-server
Commits
eabef041
提交
eabef041
authored
4月 13, 2023
作者:
imClumsyPanda
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update cli_demo.py
上级
a6184b01
隐藏空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
2 行增加
和
5 行删除
+2
-5
cli_demo.py
cli_demo.py
+0
-1
model_config.py
configs/model_config.py
+2
-4
没有找到文件。
cli_demo.py
浏览文件 @
eabef041
from
configs.model_config
import
*
from
configs.model_config
import
*
import
datetime
from
chains.local_doc_qa
import
LocalDocQA
from
chains.local_doc_qa
import
LocalDocQA
# return top-k text chunk from vector store
# return top-k text chunk from vector store
...
...
configs/model_config.py
浏览文件 @
eabef041
...
@@ -6,11 +6,10 @@ embedding_model_dict = {
...
@@ -6,11 +6,10 @@ embedding_model_dict = {
"ernie-tiny"
:
"nghuyong/ernie-3.0-nano-zh"
,
"ernie-tiny"
:
"nghuyong/ernie-3.0-nano-zh"
,
"ernie-base"
:
"nghuyong/ernie-3.0-base-zh"
,
"ernie-base"
:
"nghuyong/ernie-3.0-base-zh"
,
"text2vec"
:
"GanymedeNil/text2vec-large-chinese"
,
"text2vec"
:
"GanymedeNil/text2vec-large-chinese"
,
"local"
:
"/Users/liuqian/Downloads/ChatGLM-6B/text2vec-large-chinese"
}
}
# Embedding model name
# Embedding model name
EMBEDDING_MODEL
=
"
local"
#"
text2vec"
EMBEDDING_MODEL
=
"text2vec"
# Embedding running device
# Embedding running device
EMBEDDING_DEVICE
=
"cuda"
if
torch
.
cuda
.
is_available
()
else
"mps"
if
torch
.
backends
.
mps
.
is_available
()
else
"cpu"
EMBEDDING_DEVICE
=
"cuda"
if
torch
.
cuda
.
is_available
()
else
"mps"
if
torch
.
backends
.
mps
.
is_available
()
else
"cpu"
...
@@ -20,11 +19,10 @@ llm_model_dict = {
...
@@ -20,11 +19,10 @@ llm_model_dict = {
"chatglm-6b-int4-qe"
:
"THUDM/chatglm-6b-int4-qe"
,
"chatglm-6b-int4-qe"
:
"THUDM/chatglm-6b-int4-qe"
,
"chatglm-6b-int4"
:
"THUDM/chatglm-6b-int4"
,
"chatglm-6b-int4"
:
"THUDM/chatglm-6b-int4"
,
"chatglm-6b"
:
"THUDM/chatglm-6b"
,
"chatglm-6b"
:
"THUDM/chatglm-6b"
,
"local"
:
"/Users/liuqian/Downloads/ChatGLM-6B/chatglm-6b"
}
}
# LLM model name
# LLM model name
LLM_MODEL
=
"
local"
#"
chatglm-6b"
LLM_MODEL
=
"chatglm-6b"
# LLM running device
# LLM running device
LLM_DEVICE
=
"cuda"
if
torch
.
cuda
.
is_available
()
else
"mps"
if
torch
.
backends
.
mps
.
is_available
()
else
"cpu"
LLM_DEVICE
=
"cuda"
if
torch
.
cuda
.
is_available
()
else
"mps"
if
torch
.
backends
.
mps
.
is_available
()
else
"cpu"
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论