NAN during training on custom dataset

[oyangavi]

I am training yolo on a custom dataset of 16357.
From epoch 6 I am getting nan.
fyi I also attached a transformer to it

0/149 13.6G 0.04854 0.00671 0.0135 0.06876 17 640 0.1933 0.303 0.1726 0.08386 0.05957 0.009233 0.0136
1/149 13.5G 0.02125 0.003635 0.00429 0.02917 10 640 0.7036 0.5757 0.6115 0.3084 0.05692 0.007475 0.00954
2/149 13.5G 0.01919 0.003306 0.002792 0.02528 7 640 0.6638 0.5703 0.5828 0.2961 0.06015 0.007348 0.009801
3/149 13.5G 0.02468 0.004042 0.004204 0.03292 15 640 0.3839 0.3122 0.228 0.1121 0.0699 0.008579 0.01163
4/149 13.5G 0.02282 0.003776 0.003217 0.02981 9 640 0.4328 0.07765 0.0199 0.009796 0.07889 0.01012 0.01333
5/149 13.5G 0.04284 0.004414 0.009558 0.05681 12 640 0.008163 0.009744 0.001057 0.0003038 0.08286 0.009637 0.02632
6/149 13.5G nan nan nan nan 3 640 0 0 0 0 nan nan nan
7/149 13.5G nan nan nan nan 5 640 0 0 0 0 nan nan nan
8/149 13.5G nan nan nan nan 10 640 0 0 0 0 nan nan nan
9/149 13.5G nan nan nan nan 4 640 0 0 0 0 nan nan nan
10/149 13.5G nan nan nan nan 23 640 0 0 0 0 nan nan nan
11/149 13.5G nan nan nan nan 7 640 0 0 0 0 nan nan nan
12/149 13.5G nan nan nan nan 9 640 0 0 0 0 nan nan nan
13/149 13.5G nan nan nan nan 17 640 0 0 0 0 nan nan nan
14/149 13.5G nan nan nan nan 11 640 0 0 0 0 nan nan nan