Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
J
jinchat-server
概览
概览
详情
活动
周期分析
版本库
存储库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
aigc-pioneer
jinchat-server
Commits
54c983f4
提交
54c983f4
authored
4月 22, 2023
作者:
imClumsyPanda
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update chatglm_llm.py
上级
2224dece
显示空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
6 行增加
和
5 行删除
+6
-5
chatglm_llm.py
models/chatglm_llm.py
+6
-5
没有找到文件。
models/chatglm_llm.py
浏览文件 @
54c983f4
...
...
@@ -72,14 +72,14 @@ class ChatGLM(LLM):
response
,
_
=
self
.
model
.
chat
(
self
.
tokenizer
,
prompt
,
history
=
self
.
history
[
-
self
.
history_len
:]
if
self
.
history_len
>
0
else
[],
history
=
self
.
history
[
-
self
.
history_len
:]
if
self
.
history_len
>
0
else
[],
max_length
=
self
.
max_token
,
temperature
=
self
.
temperature
,
)
torch_gc
()
if
stop
is
not
None
:
response
=
enforce_stop_tokens
(
response
,
stop
)
self
.
history
=
self
.
history
+
[[
None
,
response
]]
self
.
history
=
self
.
history
+
[[
None
,
response
]]
return
response
def
chat
(
self
,
...
...
@@ -87,12 +87,12 @@ class ChatGLM(LLM):
response
,
_
=
self
.
model
.
chat
(
self
.
tokenizer
,
prompt
,
history
=
[],
#self.history[-self.history_len:] if self.history_len>0 else
history
=
self
.
history
[
-
self
.
history_len
:]
if
self
.
history_len
>
0
else
[],
max_length
=
self
.
max_token
,
temperature
=
self
.
temperature
,
)
torch_gc
()
self
.
history
=
self
.
history
+
[[
None
,
response
]]
self
.
history
=
self
.
history
+
[[
None
,
response
]]
return
response
def
load_model
(
self
,
...
...
@@ -159,7 +159,8 @@ class ChatGLM(LLM):
new_prefix_state_dict
[
k
[
len
(
"transformer.prefix_encoder."
):]]
=
v
self
.
model
.
transformer
.
prefix_encoder
.
load_state_dict
(
new_prefix_state_dict
)
self
.
model
.
transformer
.
prefix_encoder
.
float
()
except
Exception
:
except
Exception
as
e
:
print
(
e
)
print
(
"加载PrefixEncoder模型参数失败"
)
self
.
model
=
self
.
model
.
eval
()
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论