Use fastapi to implement API (#209)

* Use fastapi to implement API

* Update model_config.py

---------

Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>

.gitignore

@@ -165,6 +165,10 @@ output/*
 log/*
 .chroma
 vector_store/*
+content/*
+api_content/*
 
 llm/*
-embedding/*
\ No newline at end of file
+embedding/*
+
+pyrightconfig.json

README.md

@@ -93,6 +93,12 @@ $ python cli_demo.py
 $ python webui.py
 ```
 
+或执行 [api.py](api.py) 利用 fastapi 部署 API
+```shell
+$ python api.py
+```
+
+
 注：如未将模型下载至本地，请执行前检查`$HOME/.cache/huggingface/`文件夹剩余空间，至少15G。
 
 执行后效果如下图所示：
@@ -168,7 +174,7 @@ Web UI 可以实现如下功能：
     - [ ] 删除知识库中文件
   - [ ] 利用 streamlit 实现 Web UI Demo
 - [ ] 增加 API 支持
-  - [ ] 利用 fastapi 实现 API 部署方式
+  - [x] 利用 fastapi 实现 API 部署方式
   - [ ] 实现调用 API 的 Web UI Demo
 
 ## 项目交流群

README_en.md

@@ -112,6 +112,11 @@ Note: When using langchain.document_loaders.UnstructuredFileLoader for unstructu
 Execute [webui.py](webui.py) script to experience **Web interaction** <img src="https://img.shields.io/badge/Version-0.1-brightgreen">
 ```commandline
 python webui.py
+
+```
+Or execute [api.py](api.py) script to deploy web api.
+```shell
+$ python api.py
 ```
 Note: Before executing, check the remaining space in the `$HOME/.cache/huggingface/` folder, at least 15G.
 

configs/model_config.py

@@ -40,6 +40,8 @@ VS_ROOT_PATH = os.path.join(os.path.dirname(os.path.dirname(__file__)), "vector_
 
 UPLOAD_ROOT_PATH = os.path.join(os.path.dirname(os.path.dirname(__file__)), "content", "")
 
+API_UPLOAD_ROOT_PATH = os.path.join(os.path.dirname(os.path.dirname(__file__)), "api_content")
+
 # 基于上下文的prompt模版，请务必保留"{question}"和"{context}"
 PROMPT_TEMPLATE = """已知信息：
 {context} 
@@ -47,4 +49,4 @@ PROMPT_TEMPLATE = """已知信息：
 根据上述已知信息，简洁和专业的来回答用户的问题。如果无法从中得到答案，请说 “根据已知信息无法回答该问题” 或 “没有提供足够的相关信息”，不允许在答案中添加编造成分，答案请使用中文。 问题是：{question}"""
 
 # 匹配后单段上下文长度
-CHUNK_SIZE = 500
\ No newline at end of file
+CHUNK_SIZE = 500

requirements.txt

@@ -10,4 +10,6 @@ cpm_kernels
 faiss-cpu
 accelerate
 gradio==3.24.1
-#detectron2@git+https://github.com/facebookresearch/detectron2.git@v0.6#egg=detectron2
\ No newline at end of file
+fastapi
+uvicorn
+#detectron2@git+https://github.com/facebookresearch/detectron2.git@v0.6#egg=detectron2