restrict_self_attn 和autoregressive

[zaczgao]

我的理解是attention 里面的restrict_self_attn 实现了autoregressive，也就是历史不能看到当前，但是当前可以回顾历史，但是为什么训练时restrict_self_attn=false呢？谢谢

[963658029]

具体可以参考technical report的消融实验。简单来说就是，我们发现加上restrict_self_attn（把attention从bidirectional换成causal）会导致画面不连贯，所以最后restrict_self_attn=false

[zaczgao]

那就是训练和推理的时候默认是bidirectional，没有kv cache吧

[963658029]

是的