Unverified 提交 b0714eed 作者: RainGather 提交者: GitHub

Update chatglm_llm.py (#316)

上级 ecc0c43a
...@@ -155,7 +155,7 @@ class ChatGLM(LLM): ...@@ -155,7 +155,7 @@ class ChatGLM(LLM):
model = PeftModel.from_pretrained(self.model, LLM_LORA_PATH) model = PeftModel.from_pretrained(self.model, LLM_LORA_PATH)
# 可传入device_map自定义每张卡的部署情况 # 可传入device_map自定义每张卡的部署情况
if device_map is None: if device_map is None:
device_map = auto_configure_device_map(num_gpus) device_map = auto_configure_device_map(num_gpus, use_lora)
self.model = dispatch_model(self.model.half(), device_map=device_map) self.model = dispatch_model(self.model.half(), device_map=device_map)
else: else:
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论