add fastchat.md

README.md

@@ -96,6 +96,8 @@ vue前端需要node18环境
 
 在开始执行 Web UI 或命令行交互前，请先检查 [configs/model_config.py](configs/model_config.py) 中的各项模型参数设计是否符合需求。
 
+如需通过 fastchat 以 api 形式调用 llm，请参考 [fastchat 调用实现](docs/fastchat.md)
+
 ### 3. 执行脚本体验 Web UI 或命令行交互
 
 > 注：鉴于环境部署过程中可能遇到问题，建议首先测试命令行脚本。建议命令行脚本测试可正常运行后再运行 Web UI。

configs/model_config.py

@@ -69,20 +69,23 @@ llm_model_dict = {
         "local_model_path": None,
         "provides": "LLamaLLM"
     },
-    "fast-chat-chatglm-6b": {
-        "name": "chatglm-6b",
-        "pretrained_model_name": "FastChatOpenAI",
+
+    # 通过 fastchat 调用的模型请参考如下格式
+    "fastchat-chatglm-6b": {
+        "name": "chatglm-6b",  # "name"修改为fastchat服务中的"model_name"
+        "pretrained_model_name": "chatglm-6b",
         "local_model_path": None,
-        "provides": "FastChatOpenAILLM",
-        "api_base_url": "http://localhost:8000/v1"
+        "provides": "FastChatOpenAILLM",  # 使用fastchat api时，需保证"provides"为"FastChatOpenAILLM"
+        "api_base_url": "http://localhost:8000/v1"  # "name"修改为fastchat服务中的"api_base_url"
     },
 
-    "fast-chat-vicuna-13b-hf": {
-        "name": "vicuna-13b-hf",
+    # 通过 fastchat 调用的模型请参考如下格式
+    "fastchat-vicuna-13b-hf": {
+        "name": "vicuna-13b-hf",  # "name"修改为fastchat服务中的"model_name"
         "pretrained_model_name": "vicuna-13b-hf",
         "local_model_path": None,
-        "provides": "FastChatOpenAILLM",
-        "api_base_url": "http://localhost:8000/v1"
+        "provides": "FastChatOpenAILLM",  # 使用fastchat api时，需保证"provides"为"FastChatOpenAILLM"
+        "api_base_url": "http://localhost:8000/v1"  # "name"修改为fastchat服务中的"api_base_url"
     },
 }
 

docs/fastchat.md

+# fastchat 调用实现教程
+langchain-ChatGLM 现已支持通过调用 FastChat API 进行 LLM 调用，支持的 API 形式为 **OpenAI API 形式**。 
+1. 首先请参考 [FastChat 官方文档](https://github.com/lm-sys/FastChat/blob/main/docs/openai_api.md#restful-api-server) 进行 FastChat OpenAI 形式 API 部署
+2. 依据 FastChat API 启用时的 `model_name` 和 `api_base` 链接，在本项目的 `configs/model_config.py` 的 `llm_model_dict` 中增加选项。如：
+    ```python
+    llm_model_dict = {
+            
+        # 通过 fastchat 调用的模型请参考如下格式
+        "fastchat-chatglm-6b": {
+            "name": "chatglm-6b",  # "name"修改为fastchat服务中的"model_name"
+            "pretrained_model_name": "chatglm-6b",
+            "local_model_path": None,
+            "provides": "FastChatOpenAILLM",  # 使用fastchat api时，需保证"provides"为"FastChatOpenAILLM"
+            "api_base_url": "http://localhost:8000/v1"  # "name"修改为fastchat服务中的"api_base_url"
+        },
+    }
+    ```
+    其中 `api_base_url` 根据 FastChat 部署时的 ip 地址和端口号得到，如 ip 地址设置为 `localhost`，端口号为 `8000`，则应设置的 `api_base_url` 为 `http://localhost:8000/v1`
+
+3. 将 `configs/model_config.py` 中的 `LLM_MODEL` 修改为对应模型名。如：
+    ```python
+    LLM_MODEL = "fastchat-chatglm-6b"
+    ```
+4. 根据需求运行 `api.py`, `cli_demo.py` 或 `webui.py`。
\ No newline at end of file