提交 a6f42e7c 作者: liunux4odoo

fix iss#889:

when init_model on startup, set llm model's history_len to LLM_HISTORY_LEN from model_config.
上级 3b6819f0
...@@ -104,6 +104,7 @@ def init_model(): ...@@ -104,6 +104,7 @@ def init_model():
args_dict = vars(args) args_dict = vars(args)
shared.loaderCheckPoint = LoaderCheckPoint(args_dict) shared.loaderCheckPoint = LoaderCheckPoint(args_dict)
llm_model_ins = shared.loaderLLM() llm_model_ins = shared.loaderLLM()
llm_model_ins.history_len = LLM_HISTORY_LEN
try: try:
local_doc_qa.init_cfg(llm_model=llm_model_ins) local_doc_qa.init_cfg(llm_model=llm_model_ins)
answer_result_stream_result = local_doc_qa.llm_model_chain( answer_result_stream_result = local_doc_qa.llm_model_chain(
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论