Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
J
jinchat-server
概览
概览
详情
活动
周期分析
版本库
存储库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
aigc-pioneer
jinchat-server
Commits
31655339
Unverified
提交
31655339
authored
5月 11, 2023
作者:
Tyler Luan
提交者:
GitHub
5月 11, 2023
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
chatglm init twice (#313)
上级
2987c9cd
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
4 行增加
和
4 行删除
+4
-4
chatglm_llm.py
models/chatglm_llm.py
+4
-4
没有找到文件。
models/chatglm_llm.py
浏览文件 @
31655339
...
@@ -141,16 +141,16 @@ class ChatGLM(LLM):
...
@@ -141,16 +141,16 @@ class ChatGLM(LLM):
else
:
else
:
from
accelerate
import
dispatch_model
from
accelerate
import
dispatch_model
model
=
AutoModel
.
from_pretrained
(
model_name_or_path
,
trust_remote_code
=
True
,
#
model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True,
config
=
model_config
,
**
kwargs
)
#
config=model_config, **kwargs)
if
LLM_LORA_PATH
and
use_lora
:
if
LLM_LORA_PATH
and
use_lora
:
from
peft
import
PeftModel
from
peft
import
PeftModel
model
=
PeftModel
.
from_pretrained
(
model
,
LLM_LORA_PATH
)
model
=
PeftModel
.
from_pretrained
(
self
.
model
,
LLM_LORA_PATH
)
# 可传入device_map自定义每张卡的部署情况
# 可传入device_map自定义每张卡的部署情况
if
device_map
is
None
:
if
device_map
is
None
:
device_map
=
auto_configure_device_map
(
num_gpus
)
device_map
=
auto_configure_device_map
(
num_gpus
)
self
.
model
=
dispatch_model
(
model
.
half
(),
device_map
=
device_map
)
self
.
model
=
dispatch_model
(
self
.
model
.
half
(),
device_map
=
device_map
)
else
:
else
:
self
.
model
=
self
.
model
.
float
()
.
to
(
llm_device
)
self
.
model
=
self
.
model
.
float
()
.
to
(
llm_device
)
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论