正常跑了一段时间，突然卡住了，GPU利用率100% #1649
Description
Describe the bug
正常跑了7-8个小时，突然卡住在 torch.cuda.current_stream().synchronize()
gpu 利用率100%，程序无法执行
{{ message }}
Describe the bug
正常跑了7-8个小时，突然卡住在 torch.cuda.current_stream().synchronize()
gpu 利用率100%，程序无法执行