提交 3b4b660d 作者: imClumsyPanda

update chatglm_llm.py

上级 a1033698
......@@ -68,7 +68,21 @@ class ChatGLM(LLM):
def _call(self,
prompt: str,
stop: Optional[List[str]] = None) -> str:
stop: Optional[List[str]] = None,
stream=True) -> str:
if stream:
self.history = self.history + [[None, ""]]
response, _ = self.model.stream_chat(
self.tokenizer,
prompt,
history=self.history[-self.history_len:] if self.history_len > 0 else [],
max_length=self.max_token,
temperature=self.temperature,
)
torch_gc()
self.history[-1][-1] = response
yield response
else:
response, _ = self.model.chat(
self.tokenizer,
prompt,
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论