Re-parameterization 和 stage1 的疑惑? #159
Unanswered
shyshuai90
asked this question in
Q&A
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
-
感谢作者开源,有些疑问,希望能得到解答。
table4中stage1 做pixel dependency, 那这个阶段在完成Re-parameterization以后,有没有继续在Imagenet上训练呢?
按照Re-parameterization部分的说法,这个阶段的模型是直接将DiT(class-to-image)的权重以架构兼容的形式,对公共权重做复用或者
对特有权重(每个block的scale_shift_tabel)做重计算来对齐;这样做完以后,就直接进行stage2 text-image align的训练?
如果是这样的话,因为DiT是一个class-to-image的模型,而PAlpha是一个text-to-image 的模型,这两个模型的y_embedder 是不一样的,这部分是否进行的对齐?
还是说做完Re-parameterization之后,需要重新在ImageNet上训练,用text-to-image的模式在这个闭集上达到class-to-image的效果,让模型在(close set nouns)有一定的图片生成能力,然后继续后面各个阶段的refinement?
我倾向后者,不知理解是否到位,希望能得到作者和各位大佬的指正!
Beta Was this translation helpful? Give feedback.
All reactions