D的输出为什么要经过tanh变换

[burkun]

原始wgan中直接用logits计算loss的，我看代码实现中多加了一个tanh，这样的初衷是什么？防止loss抖动吗？

[mingzhangPHD]

你好，直接使用线性输出也是可以的，但是在我们实验中发现使得训练难度会增加，强化学习过程得稳定性比较差，WGAN也是一个对抗学习过程，所以直接线性输出得话在前期稳定性比较差，因为鉴别器输出得范围太大，同时加上tanh可以减少bias带来的一些问题，使得鉴别器得最优点可以集中在0附近。

[burkun]

谢谢，和我的结论差异不大。不过在高维特征输入和多个action combo到一起的任务里面，用tanh后计算loss稳定性还是不如原始的交叉熵loss gail。我尝试了wgan-gp和wgan-div，和原始的wgan clip weight，得到的loss曲线都是抖动较大，加上tanh变换后抖动会变少，但效果不明显