1.增加对llama-cpp模型的支持;2.增加对bloom/chatyuan/baichuan模型的支持;3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug;5. 增加对openai支持(没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664) * 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项 * 更新FAQ,增加了[Errno 110] Connection timed out的原因与解决方案 * 修改loader.py中load_in_8bit失败的原因和详细解决方案 * update loader.py * stream_chat_bing * 修改stream_chat的接口,在请求体中选择knowledge_base_id;增加stream_chat_bing接口 * 优化cli_demo.py的逻辑:支持 输入提示;多输入;重新输入 * update cli_demo.py * add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1 * 1.增加对llama-cpp模型的支持;2.增加对bloom模型的支持;3. 修复多GPU部署的bug;4. 增加对openai支持(没有api,未测试);5.增加了llama-cpp模型部署的说明 * llama模型兼容性说明 * modified: ../configs/model_config.py modified: ../docs/INSTALL.md 在install.md里增加对llama-cpp模型调用的说明 * 修改llama_llm.py以适应llama-cpp模型 * 完成llama-cpp模型的支持; * make fastchat and openapi compatiable * 1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持;2. 修复了moss_llm.py的bug; * set default model be chatglm-6b * 在多卡情况下也支持自定义GPU设备 --------- Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
名称 |
最后提交
|
最后更新 |
---|---|---|
.github/ISSUE_TEMPLATE | 正在载入提交数据... | |
agent | 正在载入提交数据... | |
chains | 正在载入提交数据... | |
configs | 正在载入提交数据... | |
docs | 正在载入提交数据... | |
img | 正在载入提交数据... | |
knowledge_base/samples | 正在载入提交数据... | |
loader | 正在载入提交数据... | |
models | 正在载入提交数据... | |
nltk_data | 正在载入提交数据... | |
ptuning-v2 | 正在载入提交数据... | |
test | 正在载入提交数据... | |
textsplitter | 正在载入提交数据... | |
utils | 正在载入提交数据... | |
vectorstores | 正在载入提交数据... | |
views | 正在载入提交数据... | |
.gitignore | 正在载入提交数据... | |
CONTRIBUTING.md | 正在载入提交数据... | |
Dockerfile | 正在载入提交数据... | |
Dockerfile-cuda | 正在载入提交数据... | |
LICENSE | 正在载入提交数据... | |
README.md | 正在载入提交数据... | |
README_en.md | 正在载入提交数据... | |
api.py | 正在载入提交数据... | |
cli.bat | 正在载入提交数据... | |
cli.py | 正在载入提交数据... | |
cli.sh | 正在载入提交数据... | |
cli_demo.py | 正在载入提交数据... | |
release.py | 正在载入提交数据... | |
requirements.txt | 正在载入提交数据... | |
webui.py | 正在载入提交数据... | |
webui_st.py | 正在载入提交数据... |