请问有Ascend npu的训练代码吗？

[CN-makers]

我看到train_helios.py中写了npu的一些支持，运行了一下对应的训练代码，但是kernel部分好像都是针对cuda的调整？这部分不支持华为卡，请问有对华为卡训练的支持吗？谢谢啦

[qqingzheng]

如果需要用NPU训练，可以把使用triton kernel那几行代码注释掉，然后在train_helios.py最上面添加以下代码：

if importlib.util.find_spec("torch_npu") is not None:
    import torch_npu
else:
    torch_npu = None

[CN-makers]

transformer_helios会调用helios/modules/helios_kernels/attention_dispatch.py，这里面的加速手段也同样无法在NPU上运行？此外运行时transformer_helios 56行的torch.nn.functional.pad(x, (0, pad_w, 0, pad_h, 0, pad_t), mode="replicate")也不支持bfloat16数据类型

[qqingzheng]

是的，现有训练加速手段暂不适用于NPU（NPU上面的推理加速手段可以参考SGLange和vllm-omni）。然后数据类型问题需要根据代码报错位置进行针对性修改，应该只需要改小几个地方即可（具体需要改哪不太记得了）