### 请提出你的问题 $ uie_model.encoder.encoder.layers[0].linear1 # Linear(in_features=768, out_features=3072, dtype=float32) $ uie_model.encoder.encoder.layers[0].linear1.weight.shape # [768, 3072] 对于这一个线性的模型参数, 线性层的input是768,output是3072, 那么隐藏层的参数不应该是3072*768么?
请提出你的问题
$ uie_model.encoder.encoder.layers[0].linear1
Linear(in_features=768, out_features=3072, dtype=float32)
$ uie_model.encoder.encoder.layers[0].linear1.weight.shape
[768, 3072]
对于这一个线性的模型参数, 线性层的input是768,output是3072, 那么隐藏层的参数不应该是3072*768么?