关于ntk_alpha的计算逻辑

[xyfZzz]

想请教一下Qwen中ntk_alpha的计算逻辑，我看到Qwen中时这样计算的：

def get_ntk_alpha(self, true_seq_len):
      context_value = math.log(true_seq_len / self.seq_length, 2) + 1
      ntk_alpha = 2 ** math.ceil(context_value) - 1
      ntk_alpha = max(ntk_alpha, 1)
      return ntk_alpha

请问下是为什么这样计算？为什么不是直接这样子？：

  def get_ntk_alpha(self, true_seq_len):
        ntk_alpha = true_seq_len / self.seq_length
        ntk_alpha = max(ntk_alpha, 1)
        return ntk_alpha

期望答复，谢谢！

[logicwong]

主要是效果导向，我们实测上面的计算方法要比下面的计算方法更好。

[xyfZzz]

主要是效果导向，我们实测上面的计算方法要比下面的计算方法更好。

好的，多谢大佬！
另外，我在看Qwen源码的时候又发现了一个疑问点，想请教一下：

    kv_seq_len = hidden_states.size()[1]
    if past_key_values[0] is not None:
        # past key values[0][0] shape: bs * seq_len * head_num * dim
        kv_seq_len += past_key_values[0][0].shape[1]

    if self.training or not self.use_dynamic_ntk:
        ntk_alpha_list = [1.0]
    elif kv_seq_len != hidden_states.size()[1]:
        ntk_alpha_list = self.rotary_emb._ntk_alpha_cached_list
    else:
        ntk_alpha_list = []
        if attention_mask is not None and kv_seq_len > self.seq_length:
            true_seq_lens = attention_mask.squeeze(1).squeeze(1).eq(0).sum(dim=-1, dtype=torch.int32)
            for i in range(hidden_states.size()[0]):
                true_seq_len = true_seq_lens[i].item()
                ntk_alpha = self.get_ntk_alpha(true_seq_len)
                ntk_alpha_list.append(ntk_alpha)
        else:
            ntk_alpha = self.get_ntk_alpha(kv_seq_len)
            ntk_alpha_list.append(ntk_alpha)
    self.rotary_emb._ntk_alpha_cached_list = ntk_alpha_list

    rotary_pos_emb_list = []
    for ntk_alpha in ntk_alpha_list:
        rotary_pos_emb = self.rotary_emb(kv_seq_len, ntk_alpha=ntk_alpha)
        rotary_pos_emb_list.append(rotary_pos_emb)

这部分代码里头的这一段

    elif kv_seq_len != hidden_states.size()[1]:
        ntk_alpha_list = self.rotary_emb._ntk_alpha_cached_list

是不是说明，qwen的dynamic ntk在推理时，如果输入样例一开始的context未超出默认长度，但是在推理生成时由于生成token增加逐渐超出默认长度时，也不会更新ntk_alpha ，也就是说ntk不会生效？这样子会不会有点问题？似乎没有体现出dynamic的特性？

[logicwong]

这里的动态指的是根据输入的长度自动计算ntk的值，但在后续生成过程中ntk是保持固定的。
假如在生成过程中动态改变ntk，那么每个cache的key值都是根据不同的ntk值计算出来的，这样反而会影响效果

[xyfZzz]

这里的动态指的是根据输入的长度自动计算ntk的值，但在后续生成过程中ntk是保持固定的。 假如在生成过程中动态改变ntk，那么每个cache的key值都是根据不同的ntk值计算出来的，这样反而会影响效果

好的，多谢。不过看到有些地方实现动态ntk的时候cache的kv值是与position_embedding merge之前的

[enozhu]

上面是不是说反了，看到的几个模型,实现动态ntk的时候, cache的kv值是与position_embedding merge之后的吧

[xyfZzz]

上面是不是说反了，看到的几个模型,实现动态ntk的时候, cache的kv值是与position_embedding merge之后的吧

大部分确实是这样，但看到过有cache的merge之前的代码

[enozhu]

上面是不是说反了，看到的几个模型,实现动态ntk的时候, cache的kv值是与position_embedding merge之后的吧

大部分确实是这样，但看到过有cache的merge之前的代码

哪个模型是position_embedding merge之前cache的啊，求分享链接

[xyfZzz]

上面是不是说反了，看到的几个模型,实现动态ntk的时候, cache的kv值是与position_embedding merge之后的吧

大部分确实是这样，但看到过有cache的merge之前的代码

哪个模型是position_embedding merge之前cache的啊，求分享链接

ymcui/Chinese-LLaMA-Alpaca#743