Skip to content

[问题/Issue] 章节2.1:表述有误 #161

@aaadashuaige

Description

@aaadashuaige

1. 遇到问题的章节 / Affected Chapter

Chapter2.1.2

2. 具体问题描述 / Problem Description

Image 这里对注意力分数的定义有误

3. 问题重现材料 / Reproduction Materials

文中对 Attention Score 的定义似乎弄错了。
原文: “...通过一个 Softmax 层将其转化为和为 1 的权重... 也就是我们的注意力分数了。”
问题: Softmax 的输出应该是 Attention Weight (权重)。
正确定义: Attention Score (分数) 指的是 Softmax 之前的 $Q \cdot K^T$ 原始点积结果。

确认事项 / Verification

  • 此问题未在过往Issue中被报告过 / This issue hasn't been reported before

Metadata

Metadata

Assignees

No one assigned

    Labels

    documentationImprovements or additions to documentation

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions