Skip to content

[Issue] 章节3.1:关于BERT位置编码的描述 #127

@wuaman

Description

@wuaman

1. 遇到问题的章节 / Affected Chapter

Chapter3.1

2. 具体问题描述 / Problem Description

Chapter3.1.1(2)部分 在“注:”上面几行说改进后的BERT通过Position Embedding层融合相对位置信息,然后又说融合了相对位置信息的position embedding “完全无法处理超过模型训练长度的输入”。
想问一下此处表达是否有误?我理解融合了相对位置信息的位置编码(即相对位置编码)是可以处理比训练时更长的序列,只是性能会平滑下降。不知道是我理解有误还是此处为作者笔误。
有时间还望不吝赐教解答,谢谢!

3. 问题重现材料 / Reproduction Materials

Image

确认事项 / Verification

  • 此问题未在过往Issue中被报告过 / This issue hasn't been reported before

Metadata

Metadata

Assignees

No one assigned

    Labels

    documentationImprovements or additions to documentation

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions