Frame-level non-injectivtiy and Causal CD as substitute for ODE distillation

[SongwuJob]

能不能大白话讲下为什么self forcing是这样的嘛，我理解self forcing里面的ODE初始化ode对每个chunk随机加噪，然后预测转x0，与ode对做MSE，target 应该是唯一的吧。

[zhuhz22]

你理解很正确，在整个视频层次上确实是唯一的，但 AR 训练的时候，训练第 i 帧看不到 >i 帧（未来帧），这就会导致 target 不再唯一。举一个二维情形的例子：
$X=(x^0, x^1)$, 我们取 $X_t = (0,1), Y_t = (0, 2), X_0 = (3,4), Y_0 = (5,6)$, 那么确实从整个随机向量上看 $X_t \ne Y_t, X_0 \ne Y_0$, 但分量上 $x_t^0 = y_t^0, x_0^0 \ne y_0^0$, 这就导致不再是 “一对一”的情形了。这里的关键就在于：随机向量整体的 “一对一”推不出分量的“一对一”，Self Forcing 拿双向模型当teacher, 只是保证视频整体是一对一的，但是 student 是 AR 的，训练的时候看不见未来帧，因此要求局部分量也得一对一，Self Forcing 没有做到这一点。

[SongwuJob]

你理解很正确，在整个视频层次上确实是唯一的，但 AR 训练的时候，训练第 i 帧看不到 >i 帧（未来帧），这就会导致 target 不再唯一。举一个二维情形的例子： X = ( x 0 , x 1 ) , 我们取 X t = ( 0 , 1 ) , Y t = ( 0 , 2 ) , X 0 = ( 3 , 4 ) , Y 0 = ( 5 , 6 ) , 那么确实从整个随机向量上看 X t ≠ Y t , X 0 ≠ Y 0 , 但分量上 x t 0 = y t 0 , x 0 0 ≠ y 0 0 , 这就导致不再是 “一对一”的情形了。这里的关键就在于：随机向量整体的 “一对一”推不出分量的“一对一”，Self Forcing 拿双向模型当teacher, 只是保证视频整体是一对一的，但是 student 是 AR 的，训练的时候看不见未来帧，因此要求局部分量也得一对一，Self Forcing 没有做到这一点。

感谢你的解释！在工程角度，ODE训练其实是比较麻烦的，因为你需要刷去大量ODE对。ODE初始化的主要作用可能是让模型适应架构上的转变（双向 -> AR）。所以你认为如果我只在真实数据上训固定timestep（999，749，499， 249）的teacher forcing，用其作为学生模型初始化去做DMD训练有意义吗（当然这可能是个糟糕的策略，但它避免了去刷大量的ODE对）？

[zhuhz22]

1. 这样做应该不行，因为没有了 ODE 定义的函数作为约束，直接训练会退化成期望（其实这就是一个 diffusion model 只训练特定 4 个timestep, 没有理由期待能够取得能看的效果）
2. 但 ODE paired data 确实不是必需的，可以用标准的 consistency distillation (CD) 替代 Stage 2 ODE initialization, 我们的代码其实已经实现了一版朴素 CD，我们自己测试这样替代 ODE 蒸馏效果也确实差不多。我可以很快整理一下训练脚本，这样就无需刷 ODE 对了。 Stay tuned!

[zhuhz22]

We’ve added Causal Consistency Distillation as a substitute for Stage 2, which doesn’t require generating ODE pairs. Feel free to try it out! (The current infra efficiency is still quite poor, and we’ll keep improving it.)

[SongwuJob]

1. 这样做应该不行，因为没有了 ODE 定义的函数作为约束，直接训练会退化成期望（其实这就是一个 diffusion model 只训练特定 4 个timestep, 没有理由期待能够取得能看的效果）
2. 但 ODE paired data 确实不是必需的，可以用标准的 consistency distillation (CD) 替代 Stage 2 ODE initialization, 我们的代码其实已经实现了一版朴素 CD，我们自己测试这样替代 ODE 蒸馏效果也确实差不多。我可以很快整理一下训练脚本，这样就无需刷 ODE 对了。 Stay tuned!

感谢分享如此有意义的工作，我们也会去做些尝试！

[Xushuolin]

1. 这样做应该不行，因为没有了 ODE 定义的函数作为约束，直接训练会退化成期望（其实这就是一个 diffusion model 只训练特定 4 个timestep, 没有理由期待能够取得能看的效果）
2. 但 ODE paired data 确实不是必需的，可以用标准的 consistency distillation (CD) 替代 Stage 2 ODE initialization, 我们的代码其实已经实现了一版朴素 CD，我们自己测试这样替代 ODE 蒸馏效果也确实差不多。我可以很快整理一下训练脚本，这样就无需刷 ODE 对了。 Stay tuned!

史诗级更新