Batch size 對模型精準度的影響

[Alwin-Lin]

之前看 B站上說的 Batch size 跟 Learning rate 設成正比就好了，不知道是不是正確？

是的話那問題是Batch size 到底要設多少？目前colab不是15GB 顯存 一小時 0.1美元 就是 40GB 一小時1.49美元

用了40 GB 設小了覺得對不起花的錢，設高了說不定卡在Local minimum 下不來；這篇文張就有提到說不要無腦堆高。

有沒有推薦的batch size，Learning rate 跟時間對照表可以參考？e.g. 1小時的聲音配 X Batch size Y Learning rate

[Miuzarte]

个人实测12bs➕1e-4的lr相比于默认的6bs没什么问题，bs再往上加就建议lr跟着一起改了，正比
再往上大也不会大到哪去，24bs也算不上太高