Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
J
jinchat-server
概览
概览
详情
活动
周期分析
版本库
存储库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
aigc-pioneer
jinchat-server
Commits
b63c7421
提交
b63c7421
authored
6月 14, 2023
作者:
hzg0601
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update loader.py
上级
f7e7d318
显示空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
4 行增加
和
3 行删除
+4
-3
loader.py
models/loader/loader.py
+4
-3
没有找到文件。
models/loader/loader.py
浏览文件 @
b63c7421
...
...
@@ -30,14 +30,15 @@ class LoaderCheckPoint:
ptuning_dir
:
str
=
None
use_ptuning_v2
:
bool
=
False
# 如果开启了8bit量化加载,项目无法启动,参考此位置,选择合适的cuda版本,https://github.com/TimDettmers/bitsandbytes/issues/156
#
原因主要
是由于bitsandbytes安装时选择了系统环境变量里不匹配的cuda版本,
#
另一个原因可能
是由于bitsandbytes安装时选择了系统环境变量里不匹配的cuda版本,
# 例如PATH下存在cuda10.2和cuda11.2,bitsandbytes安装时选择了10.2,而torch等安装依赖的版本是11.2
# 因此主要的解决思路是清理环境变量里PATH下的不匹配的cuda版本,一劳永逸的方法是:
# 0. 在终端执行`pip uninstall bitsandbytes`
# 1. 删除.bashrc文件下关于PATH的条目
# 2. 在终端执行 `echo $PATH >> .bashrc`
# 3. 在终端执行`source .bashrc`
# 4. 再执行`pip install bitsandbytes`
# 3. 删除.bashrc文件下PATH中关于不匹配的cuda版本路径
# 4. 在终端执行`source .bashrc`
# 5. 再执行`pip install bitsandbytes`
load_in_8bit
:
bool
=
False
is_llamacpp
:
bool
=
False
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论