Dora megatron相关 #7560
Description
请问是否有计划支持实现megatron的Dora训练呢？
当前megatron中的use_dora还没有实现功能：
if use_dora:
raise ValueError(f'{self.class.name} does not support DoRA yet, please set it to False')
{{ message }}
请问是否有计划支持实现megatron的Dora训练呢？
当前megatron中的use_dora还没有实现功能：
if use_dora:
raise ValueError(f'{self.class.name} does not support DoRA yet, please set it to False')