1.安装需要的库  docx库用于读取word文档中的内容,withopen方法读取可能会因为格式问题报错,所以采取这种方法读取文档内容

import docx
from langchain.text_splitter import RecursiveCharacterTextSplitter

#对于一些文档可能会报错
with open("xxxx.docx", encoding='gbk') as f:
    text = f.read()


# 获取文档内容
doc = docx.Document('xxxxx.docx')
text=''
for para in doc.paragraphs:
    text+=para.text
    text+=" "

2.参考langchain官方文档方法对指定内容进行分割内容

# 指定字符分割文档
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,  # 指定每块大小
    chunk_overlap=20,  # 指定每块可以重叠的字符数
    length_function=len,
    is_separator_regex=False,
    separators=['指定内容']
)
texts = text_splitter.split_text(text)

for text in texts:
 print(text)

Logo

一站式 AI 云服务平台

更多推荐