Unverified 提交 e2eaefc9 作者: bones-zhu 提交者: GitHub

Update model_config.py 修改默认的LLM_MODEL

上级 a1b454fc
...@@ -203,7 +203,7 @@ llm_model_dict = { ...@@ -203,7 +203,7 @@ llm_model_dict = {
} }
# LLM 名称 # LLM 名称
LLM_MODEL = "fastchat-chatglm-6b-int4" LLM_MODEL = "fastchat-chatglm"
# 量化加载8bit 模型 # 量化加载8bit 模型
LOAD_IN_8BIT = False LOAD_IN_8BIT = False
# Load the model with bfloat16 precision. Requires NVIDIA Ampere GPU. # Load the model with bfloat16 precision. Requires NVIDIA Ampere GPU.
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论