随机不确定

[Lyan-ing]

有没有人在训练时遇到每次训练结果不一样的情况，在一开始已经设定了随机种子固定，调试发现，模型在第一次更新参数前是完全一致的，相同的输出产生相同的预测、loss，但是经过一次参数更新后，模型参数和预测就不一样了，这是哪里还有随机的部分没被固定？
def set_seed(random_seed):
random.seed(random_seed)

# NumPy
np.random.seed(random_seed)

# PyTorch
torch.manual_seed(random_seed)
# if torch.cuda.is_available():
torch.cuda.manual_seed(random_seed)
torch.cuda.manual_seed_all(random_seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False

[ChenHongruixuan]

Hi @Lyan-ing ,

May I ask if you solve this problem or not?

Best,

[Lyan-ing]

没有解决，发了邮件vmamba的作者，但是也没有得到回复（vmamba的issue里同样有人遇到了这个问题）

[ChenHongruixuan]

@Lyan-ing , okey, I will keep this issue open then, till someone can give some reasonable answers or solutions then.

Best,