Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
J
jinchat-server
概览
概览
详情
活动
周期分析
版本库
存储库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
aigc-pioneer
jinchat-server
Commits
bed03a6f
提交
bed03a6f
authored
4月 05, 2023
作者:
myml
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix: 修复chatglm模型被复制,显存占用过多
model作为类成员会在类实例化时进行一次复制 这导致每询问一个问题显存占用就会翻倍 通过将model改成全局变量修复这个问题
上级
1851b4f0
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
4 行增加
和
14 行删除
+4
-14
chatglm_llm.py
chatglm_llm.py
+4
-14
没有找到文件。
chatglm_llm.py
浏览文件 @
bed03a6f
...
@@ -5,24 +5,14 @@ from transformers import AutoTokenizer, AutoModel
...
@@ -5,24 +5,14 @@ from transformers import AutoTokenizer, AutoModel
"""ChatGLM_G is a wrapper around the ChatGLM model to fit LangChain framework. May not be an optimal implementation"""
"""ChatGLM_G is a wrapper around the ChatGLM model to fit LangChain framework. May not be an optimal implementation"""
tokenizer
=
AutoTokenizer
.
from_pretrained
(
"THUDM/chatglm-6b"
,
trust_remote_code
=
True
)
model
=
AutoModel
.
from_pretrained
(
"THUDM/chatglm-6b"
,
trust_remote_code
=
True
)
.
half
()
.
cuda
()
class
ChatGLM
(
LLM
):
class
ChatGLM
(
LLM
):
max_token
:
int
=
10000
max_token
:
int
=
10000
temperature
:
float
=
0.1
temperature
:
float
=
0.1
top_p
=
0.9
top_p
=
0.9
history
=
[]
history
=
[]
tokenizer
=
AutoTokenizer
.
from_pretrained
(
"THUDM/chatglm-6b"
,
trust_remote_code
=
True
)
model
=
(
AutoModel
.
from_pretrained
(
"THUDM/chatglm-6b"
,
trust_remote_code
=
True
)
.
half
()
.
cuda
()
)
def
__init__
(
self
):
def
__init__
(
self
):
super
()
.
__init__
()
super
()
.
__init__
()
...
@@ -34,8 +24,8 @@ class ChatGLM(LLM):
...
@@ -34,8 +24,8 @@ class ChatGLM(LLM):
def
_call
(
self
,
def
_call
(
self
,
prompt
:
str
,
prompt
:
str
,
stop
:
Optional
[
List
[
str
]]
=
None
)
->
str
:
stop
:
Optional
[
List
[
str
]]
=
None
)
->
str
:
response
,
updated_history
=
self
.
model
.
chat
(
response
,
updated_history
=
model
.
chat
(
self
.
tokenizer
,
tokenizer
,
prompt
,
prompt
,
history
=
self
.
history
,
history
=
self
.
history
,
max_length
=
self
.
max_token
,
max_length
=
self
.
max_token
,
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论