Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
J
jinchat-server
概览
概览
详情
活动
周期分析
版本库
存储库
文件
提交
分支
标签
贡献者
分支图
比较
统计图
问题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
aigc-pioneer
jinchat-server
Commits
26817283
提交
26817283
authored
5月 20, 2023
作者:
imClumsyPanda
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update local_doc_qa.py
上级
6d152372
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
5 行增加
和
6 行删除
+5
-6
local_doc_qa.py
chains/local_doc_qa.py
+5
-6
没有找到文件。
chains/local_doc_qa.py
浏览文件 @
26817283
from
langchain.embeddings.huggingface
import
HuggingFaceEmbeddings
from
langchain.embeddings.huggingface
import
HuggingFaceEmbeddings
from
langchain.vectorstores
import
FAISS
from
langchain.vectorstores
import
FAISS
from
langchain.document_loaders
import
UnstructuredFileLoader
from
langchain.document_loaders
import
UnstructuredFileLoader
,
TextLoader
from
configs.model_config
import
*
from
configs.model_config
import
*
import
datetime
import
datetime
from
textsplitter
import
ChineseTextSplitter
from
textsplitter
import
ChineseTextSplitter
...
@@ -10,8 +10,7 @@ import numpy as np
...
@@ -10,8 +10,7 @@ import numpy as np
from
utils
import
torch_gc
from
utils
import
torch_gc
from
tqdm
import
tqdm
from
tqdm
import
tqdm
from
pypinyin
import
lazy_pinyin
from
pypinyin
import
lazy_pinyin
from
loader
import
UnstructuredPaddleImageLoader
from
loader
import
UnstructuredPaddleImageLoader
,
UnstructuredPaddlePDFLoader
from
loader
import
UnstructuredPaddlePDFLoader
from
models.base
import
(
BaseAnswer
,
from
models.base
import
(
BaseAnswer
,
AnswerResult
,
AnswerResult
,
AnswerResultStream
,
AnswerResultStream
,
...
@@ -21,14 +20,14 @@ from models.loader import LoaderCheckPoint
...
@@ -21,14 +20,14 @@ from models.loader import LoaderCheckPoint
import
models.shared
as
shared
import
models.shared
as
shared
def
load_file
(
filepath
,
sentence_size
=
SENTENCE_SIZE
):
def
load_file
(
filepath
,
sentence_size
=
SENTENCE_SIZE
):
if
filepath
.
lower
()
.
endswith
(
".md"
):
if
filepath
.
lower
()
.
endswith
(
".md"
):
loader
=
UnstructuredFileLoader
(
filepath
,
mode
=
"elements"
)
loader
=
UnstructuredFileLoader
(
filepath
,
mode
=
"elements"
)
docs
=
loader
.
load
()
docs
=
loader
.
load
()
elif
filepath
.
lower
()
.
endswith
(
".txt"
):
elif
filepath
.
lower
()
.
endswith
(
".txt"
):
loader
=
UnstructuredFileLoader
(
filepath
,
mode
=
"elements"
)
loader
=
TextLoader
(
filepath
,
autodetect_encoding
=
True
)
docs
=
loader
.
load
()
textsplitter
=
ChineseTextSplitter
(
pdf
=
False
,
sentence_size
=
sentence_size
)
docs
=
loader
.
load_and_split
(
textsplitter
)
elif
filepath
.
lower
()
.
endswith
(
".pdf"
):
elif
filepath
.
lower
()
.
endswith
(
".pdf"
):
loader
=
UnstructuredPaddlePDFLoader
(
filepath
)
loader
=
UnstructuredPaddlePDFLoader
(
filepath
)
textsplitter
=
ChineseTextSplitter
(
pdf
=
True
,
sentence_size
=
sentence_size
)
textsplitter
=
ChineseTextSplitter
(
pdf
=
True
,
sentence_size
=
sentence_size
)
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论