提交 e7b06a90 作者: glide-the

删除流式请求中的缓存清理

上级 5eccb587
...@@ -63,7 +63,7 @@ class ChatGLM(BaseAnswer, LLM, ABC): ...@@ -63,7 +63,7 @@ class ChatGLM(BaseAnswer, LLM, ABC):
temperature=self.temperature, temperature=self.temperature,
stopping_criteria=stopping_criteria_list stopping_criteria=stopping_criteria_list
)): )):
self.checkPoint.clear_torch_cache() # self.checkPoint.clear_torch_cache()
history[-1] = [prompt, stream_resp] history[-1] = [prompt, stream_resp]
answer_result = AnswerResult() answer_result = AnswerResult()
answer_result.history = history answer_result.history = history
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论