-
Notifications
You must be signed in to change notification settings - Fork 1.8k
Open
Labels
documentationImprovements or additions to documentationImprovements or additions to documentation
Description
1. 遇到问题的章节 / Affected Chapter
Chapter3.1
2. 具体问题描述 / Problem Description
Chapter3.1.1(2)部分 在“注:”上面几行说改进后的BERT通过Position Embedding层融合相对位置信息,然后又说融合了相对位置信息的position embedding “完全无法处理超过模型训练长度的输入”。
想问一下此处表达是否有误?我理解融合了相对位置信息的位置编码(即相对位置编码)是可以处理比训练时更长的序列,只是性能会平滑下降。不知道是我理解有误还是此处为作者笔误。
有时间还望不吝赐教解答,谢谢!
3. 问题重现材料 / Reproduction Materials

确认事项 / Verification
- 此问题未在过往Issue中被报告过 / This issue hasn't been reported before
Metadata
Metadata
Assignees
Labels
documentationImprovements or additions to documentationImprovements or additions to documentation