1. 11 7月, 2023 2 次提交
    • feat: fastapi 接口优化 (#684) · ff5f73e0
      1. 接口增加参数校验,防止攻击
      2. 优化接口参数和逻辑
      3. 规范接口错误响应
      4. 增加接口描述
      
      Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
      NieLamu authored
    • 1.增加对llama-cpp模型的支持;2.增加对bloom/chatyuan/baichuan模型的支持;3. 修复多GPU部署的bug;4.… · a5ca4bf2
      1.增加对llama-cpp模型的支持;2.增加对bloom/chatyuan/baichuan模型的支持;3. 修复多GPU部署的bug;4. 修复了moss_llm.py的bug;5. 增加对openai支持(没有api,未测试);6. 支持在多卡情况自定义设备GPU (#664)
      
      * 修复 bing_search.py的typo;更新model_config.py中Bing Subscription Key申请方式及注意事项
      
      * 更新FAQ,增加了[Errno 110] Connection timed out的原因与解决方案
      
      * 修改loader.py中load_in_8bit失败的原因和详细解决方案
      
      * update loader.py
      
      * stream_chat_bing
      
      * 修改stream_chat的接口,在请求体中选择knowledge_base_id;增加stream_chat_bing接口
      
      * 优化cli_demo.py的逻辑:支持 输入提示;多输入;重新输入
      
      * update cli_demo.py
      
      * add bloom-3b,bloom-7b1,ggml-vicuna-13b-1.1
      
      * 1.增加对llama-cpp模型的支持;2.增加对bloom模型的支持;3. 修复多GPU部署的bug;4. 增加对openai支持(没有api,未测试);5.增加了llama-cpp模型部署的说明
      
      * llama模型兼容性说明
      
      * modified:   ../configs/model_config.py
      	modified:   ../docs/INSTALL.md
      在install.md里增加对llama-cpp模型调用的说明
      
      * 修改llama_llm.py以适应llama-cpp模型
      
      * 完成llama-cpp模型的支持;
      
      * make fastchat and openapi compatiable
      
      * 1. 修复/增加对chatyuan,bloom,baichuan-7等模型的支持;2. 修复了moss_llm.py的bug;
      
      * set default model be chatglm-6b
      
      * 在多卡情况下也支持自定义GPU设备
      
      ---------
      
      Co-authored-by: imClumsyPanda <littlepanda0716@gmail.com>
      Zhi-guo Huang authored
  2. 04 7月, 2023 1 次提交
  3. 02 7月, 2023 4 次提交
  4. 01 7月, 2023 2 次提交
  5. 30 6月, 2023 3 次提交
  6. 29 6月, 2023 3 次提交
  7. 27 6月, 2023 2 次提交
  8. 26 6月, 2023 1 次提交
  9. 25 6月, 2023 3 次提交
  10. 22 6月, 2023 2 次提交
  11. 20 6月, 2023 5 次提交
  12. 19 6月, 2023 4 次提交
  13. 18 6月, 2023 3 次提交
  14. 17 6月, 2023 5 次提交