Skip to content

Sinusoidal Positional Encoding,是交替使用正弦和余弦函数 #90

@miandai

Description

@miandai

01-第一章-预训练/什么是大模型的位置编码Position-Encoding.md

「对于每个位置 pos 和每个维度索引 i,计算正弦和余弦函数的值」不对,正弦和余弦是交替使用的,一个位置编码向量的第 j 维,如果是偶数则用 sin,如果是奇数则用 cos。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions