提交 c4b52dda 作者: littlepanda0716

add torch_gc to clear gpu cache in knowledge_based_chatglm.py

上级 5664d1ff
...@@ -52,6 +52,7 @@ class ChatGLM(LLM): ...@@ -52,6 +52,7 @@ class ChatGLM(LLM):
max_length=self.max_token, max_length=self.max_token,
temperature=self.temperature, temperature=self.temperature,
) )
torch_gc()
print("history: ", self.history) print("history: ", self.history)
if stop is not None: if stop is not None:
response = enforce_stop_tokens(response, stop) response = enforce_stop_tokens(response, stop)
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论