Skip to content

[Bug]: 文档上传之后的分块,最多只有1000个片段 #719

@wwshs

Description

@wwshs

相关组件

前端界面

Bug 描述

系统为windows11,在docker中安装,成功运行。但有下列问题。

将一本书上传到知识库,进行解析,分块之后,“文件内容 共1000个片段”。
经测试:
一、两本篇幅完全不同的书,上传之后,都是显示“文件内容 共1000个片段”。
二、同一本书,在知识库的设置中,将分块大小设为默认的512字符、分块重叠100字符时,分块之后,“文件内容 共1000个片段”;将分块大小设为2000字符、分块重叠100字符时,分块之后,“文件内容”显示共800多个片段。用另一本书作测试,情况类似。
以上情况说明,应当是程序在哪个地方限制了最多1000个片段。超过1000个片段的内容,大概率是被截断了。
不知道是在哪里作了这样的限制,如何放开这个限制。在服务器硬件充足的情况下,没有必要设这样的限制。

另外还有一个问题:
在解析完成之后,在“文件内容 共1000个片段”下方,查看全文,或查看分块,都不能显示全文,只能显示一部分。

期望行为

希望在下次更新时取消这个片段的1000上限,或者在哪个网页允许自己设置这个上限。
希望在查看全文,或查看分块时,能够显示全文的完整内容。

相关日志

操作系统

windows11

确认事项

  • 我已经搜索了现有的 issues,确认这是一个新问题

Metadata

Metadata

Assignees

Labels

bugSomething isn't working

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions