- 1.说一下什么是AI视频，包括哪些关键技术?
- 2.请介绍下视频生成技术中的核心基础模型，比如GAN、VAE、Transformer、Diffusion Model等？
- 3.AI视频大模型的宏观关键指标有哪些？
- 4.AI视频大模型的生成质量指标有哪些？
- 5.AIGC时代的主流AI视频生成流程有哪些？
- 6.AI视频领域的数据工程是什么样的？
- 7.AI视频经典的工作流有哪些？
- 1.请介绍下什么是视频生成，主要包括哪些方向？
- 2.请介绍下视频生成技术的演进路径？
- 3.请介绍下视频生成技术的应用场景？
- 4.视频扩散模型与传统视频生成模型的区别是什么？
- 5.在视频生成领域，有哪些评估指标来验证算法模型的有效性？
- 6.介绍一下AI视频领域的视频帧数、视频帧率、视频分辨率、视频码率的概念
- 7.介绍一下AI视频领域的分镜和运镜的概念
- 8.什么是AI视频的漂移问题，如何缓解视频生成时的漂移问题？
- 9.什么是首尾帧生成视频大模型？
- 10.视频生成大模型在训练时如何处理输入数据？
- 11.视频扩散模型如何处理时间一致性？
- 12.视频扩散模型与传统视频生成模型（如GAN）相比有哪些优势？
- 13.对比分析基于UNet和基于Transformer的视频生成架构的优缺点
- 14.音频驱动视频生成面临的主要技术挑战有哪些？主流解决方案是什么？
- 15.解释音频特征如何与视觉特征进行有效融合的几种典型方法?
- 16.在视频生成模型训练中，LoRA(Low-Rank-Adaptation)相比全参数微调有哪些优势？
- 17.视频生成中常用的时间一致性保持技术有哪些？
- 18.当前AI视频生成技术面临的主要技术瓶颈是什么？
- 1.请简述视频理解（Video Understanding）的主要任务及其发展历程？
- 2.请讲一讲ViT模型的原理及其优缺点？
- 3.MLLM的模态接口有哪些主要类型？它们各自的工作原理是什么？
- 4.在MLLM的训练过程中，指令调优和对齐调优分别起到了什么作用？
- 5.多模态大模型高效训练的技术有哪些？
- 6.请介绍下什么是交叉注意力(Cross Attention),与自注意力机制有什么区别？
- 7.Transformer为何能够有效地处理长距离依赖问题?与传统RNN和LSTM相比有哪些优势?
- 8.请解释AnyRes技术的工作原理及其在视频理解中的作用。
- 9.视频理解在哪些领域有应用？举例说明。
- 10.当前视频理解面临哪些挑战？未来方向是什么？
- 1.扩散模型在视频编辑中的主要挑战是什么？
- 2.特征注入方法在视频编辑中有哪些具体应用？它们的优势是什么？
- 3.在视频编辑中，如何利用光流（Optical Flow）进行运动表示？
- 4.在视频编辑中，光流主要有哪些应用场景？
- 5.在视频编辑中，为什么需要使用潜在状态初始化？
- 6.拖拽编辑（Drag-and-Drop Editing）在视频编辑中的应用是什么？
- 7.在视频编辑中，如何实现姿态引导的编辑？
- 8.什么是视频的规范表示（Canonical Representation）？它在视频编辑中的作用是什么？
- 9.在视频编辑中，如何评估生成视频的质量？
- 10.如何在视频编辑中实现多模态引导？
- 11.在视频编辑中，如何提高效率？
- 12.在视频编辑中，如何处理编辑溢出问题？
- 13.如何使用V2VBench进行视频编辑方法的比较？
- 14.在视频编辑中，如何实现细粒度的时间控制？
- 15.在视频编辑中，如何处理大模型的内存消耗问题？
- 16.请介绍一种视频扩散模型在视频编辑中的具体实现方法。
- 17.视频扩散模型在处理视频编辑时如何平衡编辑能力和时间一致性？
AI视频是指利用人工智能技术对视频进行智能处理和分析，包括但不限于视频理解、视频生成、视频编辑、视频推荐等。 关键技术包括计算机视觉、自然语言处理、深度学习、强化学习等。
- 计算机视觉：用于视频理解，如物体识别、场景识别、行为识别等。
- 自然语言处理：用于视频生成，如文本到视频生成、语音识别等。
- 深度学习：用于视频推荐，如用户行为分析、内容推荐等。
- 强化学习：用于视频编辑，如自动剪辑、自动配乐等。
伴随着AI视频领域的持续发展和开源社区的持续繁荣，Rocky相信下面的AI视频宏观关键指标都有广阔的提升空间：
- 生成视频的时长
- AI视频大模型的推理耗时
- AI视频大模型的计算资源占用情况
- 生成视频的帧率
- 生成视频的分辨率
- 生成视频的内容质量与逻辑性
在AI视频大模型的生成质量评价指标中，我们可以使用自动化指标评估和人工评估两种方式。
在自动化评估指标方面，为了评估文本到视频生成的质量，我们可以使用VBench中的多个指标，如人类动作、场景、动态程度、外观风格等。同时还可以使用两个额外的视频评估工具：Devil 中的 Dynamic Quality （动态质量）和 Chrono-Magic 中的 GPT4o-MT Score，这些工具专注于视频的动态特性。动态质量是通过将各种质量指标与动态评分相结合来定义的，这种方法减少了视频动态性与视频质量之间的负相关性所带来的偏差，从而更全面地评估视频质量。
同时我们还可以设置人工评估，比如CogVideoX论文中设计了一百个精心编写的Prompt，这些Prompt的特点是分布广泛、表述清晰、概念范围明确。用这些提示词生成视频，并让评估小组为视频进行打分，每个子项评分范围为0到1，整体总分则在0到5之间，得分越高表示视频质量越好。同时任何分数扣减的原因也被仔细记录。主要从下面四个角度进行人工打分：
- 感官质量（Sensory Quality）：主要关注生成的视频的感知质量，包括主体一致性、帧的连续性和稳定性。
- 指令遵循（Instruction Following）：主要关注生成的视频是否与输入Prompt对齐，包括主体的准确性、数量、元素和细节的正确性。
- 物理模拟（Physics Simulation）：主要关注生成的视频是否能够遵循物理世界的客观法则，例如光照效果、不同物体之间的交互以及流体动力学的逼真度。
- 封面质量（Cover Quality）：主要关注从单帧图像中可以评估的指标，包括美学质量、清晰度和逼真度。
Rocky总结了如下图所示的AIGC时代主流AI视频生成流程，可以作为大家构建AI视频产品构架的基础底座：
不管是传统深度学习时代，还是现在的AIGC时代，数据质量都是决定AI模型性能上限的关键一招，在AI视频领域也不例外。
所以在AI视频数据的处理优化上，不管投入多少都是有价值的，因为这是AI模型这个黑盒系统中反馈最为显著的优化方式。
接下来，Rocky以经典的AI视频数据处理工作流为例，向大家详细介绍我们该如何制作出高质量的AI视频数据。
AI视频大模型的训练数据必须是经过筛选的高质量视频数据集，才能让AI视频达模型深刻学习真实世界内容。
首先，我们需要识别和排除低质量视频，如过度编辑、运动不连贯、质量低下、讲座式、文本主导和屏幕噪声等视频。我们可以通过基于video-llama训练的视频过滤器来筛选视频数据。同时基于光流计算和美学分数等指标，动态调整阈值来确保视频数据集的质量。
接着，我们需要对视频数据进行标注，由于视频数据通常没有对应的文本描述，同时现有的视频字幕较短，无法全面描述视频的内容。所以需要从生成图像字幕到生成视频字幕的完整工作流，并微调端到端的视频字幕模型以获得更详细的字幕标签。
整体的标注工作流程如下：
- 将视频数据输入Panda-70M模型（Caption Model）先生成简短的字幕标注（Short Caption）。
- 再将视频数据逐帧（Video Frames）和简短的字幕标注一起输入到CogView3模型（Recaption Model）中，生成密集详细的每一帧图像字幕标签。
- 然后使用GPT-4模型对这些图像字幕标签进行总结，生成最终的视频数据标签。与此同时，基于GPT-4的总结标签微调训练Llama 2模型，来为GPT-4分担压力，加速视频数据集完整字幕标签的生成。
本问答Rocky将根据AI视频领域的发展阶段持续更新，将最有价值的AI视频工作流分享给大家：
- 文生视频：可以使用Sora、可灵、CogVideoX + LoRA + ControlNet组成的工作流。
- 图生视频：可以使用SVD + LoRA + ControlNet组成的工作流。
- 视频编辑（视频生视频）：AnimateDiff + LoRA + ControlNet组成的工作流。
猫先生曾全面系统性的梳理过视频生成技术，请参考文章：
视频生成是指通过对人工智能的训练，使其能够根据给定的文本、图像、视频等单模态或多模态数据，自动生成符合描述的、高保真的视频内容。 从生成方式进行划分，当前AI视频生成可分为文生视频、图生视频、视频生视频。
主要包含以下技术内容：
- 文生视频、图生视频：（Runway、Pika labs、SD + Deforum、Stable Video Diffusion、MagicAnimate、DemoFusion等）
- 视频生视频：又分逐帧生成（SD + Mov2Mov）、关键帧+补帧（SD + Ebsynth、Rerender A Video）、 动态捕捉（Deep motion、Move AI、Wonder Dynamics）、视频修复（Topaz Video AI）
- AIAvatar+语音生成：Synthesia、HeyGen AI、D-ID
- 长视频生短视频：Opus Clip
- 脚本生成+视频匹配：Invideo AI
- 剧情生成：Showrunner AI
图片生成和视频生成的底层技术框架较为相似，主要包括GAN、自回归模型、扩散模型、DiT四大路径，其中扩散模型（Diffusion model）和DiT为当前主流生成模型。
视频生成技术广泛应用于广告、影视、教育、娱乐、医疗、金融等领域，如：
- 广告营销：利用视频生成技术制作吸引人的广告视频，提高广告效果。
- 影视创作：利用视频生成技术自动生成剧本、剪辑、配乐等，提高创作效率。
- 教育：利用视频生成技术制作生动、有趣的课程视频，提高学生的学习兴趣和效果。
- 娱乐：利用视频生成技术制作
视频扩散模型与传统视频生成模型的主要区别在于它们的工作原理、生成过程以及应用场景。视频扩散模型通过多步骤过程生成视频， 而传统模型通常采用单步生成方法。以下是详细介绍：
工作原理：
- 视频扩散模型：通过逐步添加噪声并随后去除噪声的过程来生成视频。这种多步骤过程使得模型能够学习从噪声到清晰视频的映射，从而生成高质量的视频。
- 传统视频生成模型：通常基于生成对抗网络（GANs）或自回归Transformer，采用单步生成或解码器方法直接从隐空间生成视频。
生成过程：
- 视频扩散模型：采用加噪和去噪的迭代过程，逐步从噪声状态恢复到清晰视频。
- 传统视频生成模型：通常直接从隐空间映射到视频数据，建模过程较为复杂 。
应用场景：
- 视频扩散模型：适用于文本条件生成、图像条件视频生成、视频完成、音频条件模型、视频编辑、智能决策和视频恢复等多种场景。
- 传统视频生成模型：虽然也应用于视频生成，但在多样性和可控性方面可能不如扩散模型。
在视频生成领域，评估算法模型的有效性通常涉及多个方面的指标，这些指标可以帮助我们全面了解生成视频的质量和性能。以下是一些常用的评估指标：
1.视觉质量（Visual Quality）
-
Frechet Inception Distance (FID)：一种衡量生成图像与真实图像分布之间距离的指标。 它通过计算生成图像和真实图像在预训练的Inception网络上提取的特征之间的 Frechet 距离来实现。较低的 FID 值表示生成的视频具有更高的视觉质量。
-
Frechet Video Distance (FVD)：一种专门针对视频的评估指标，它通过比较生成视频和真实视频在多个时间步上的特征来计算距离。 较低的 FVD 值表示生成的视频在视觉上更接近真实视频。
2. 运动质量（Motion Quality）
-
ObjMC (Object Motion Consistency)：一种衡量生成视频中对象运动一致性的指标。它通过计算生成视频中对象的运动轨迹与目标轨迹之间的平均距离来实现。 较低的值表示生成的视频具有更高的运动一致性。
-
Kinematic Consistency：这种指标评估生成视频中对象的运动是否符合物理规律，例如速度和加速度的一致性。
3. 语义一致性（Semantic Consistency）
- IoU (Intersection over Union)：用于评估生成视频中对象分割掩码与真实视频中的分割掩码之间的重叠程度。较高的 IoU 值表示生成的视频在语义上更接近真实视频。
- PSNR (Peak Signal-to-Noise Ratio)：虽然主要用于图像评估，但也可以用于视频帧的评估，衡量生成视频帧与真实视频帧之间的像素级差异。
4. 多样性（Diversity） Inception Score (IS)：虽然主要用于图像生成，但也可以扩展到视频生成，衡量生成视频的多样性和质量。较高的 IS 值表示生成的视频不仅质量高，而且具有多样性。
5. 时间连贯性（Temporal Coherence）
- Fréchet Temporal Distance (FTD)：类似于 FID，但专门用于衡量视频序列的时间连贯性。较低的 FTD 值表示生成的视频在时间上更连贯。
- Video Compression Artifact Detection (VCAD)：用于检测视频压缩伪影，评估生成视频在压缩后的质量。
6. 用户评价（User Evaluation）
- Human Evaluation：通过让人类观察者对生成视频进行主观评价，可以提供更直观的质量感知。通常通过问卷调查或直接观看视频来进行。
7. 计算效率（Computational Efficiency）
- Time to Generate：衡量生成视频所需的时间，包括模型推理时间和任何后处理时间。
- GPU Memory Usage：评估生成视频所需的 GPU 内存，这对于实际应用非常重要。
| 概念 | 定义 | 数学表达/单位 | 相互影响 |
|---|---|---|---|
| 视频帧数 | 视频总包含的静止画面（帧）数量 | N（无单位） | 总时长=帧数÷FPS |
| 视频帧率（FPS） | 每秒显示的帧数（Frames Per Second），决定流畅度 | FPS（帧/秒） | FPS越高代表视频流畅度越好，数据量=分辨率×FPS×时长 |
| 视频分辨率 | 单帧图像的像素尺寸（宽×高），决定清晰度 | 如1920×1080（像素） | 分辨率↑ → 存储需求↑，计算复杂度↑ |
| 视频码率 | 单位时间的数据量（与前三者强相关） | Mbps（兆比特/秒） | 码率≈分辨率×FPS×压缩率 |
核心公式：
视频数据量 ≈ 分辨率 × 色彩深度 × FPS × 时长 × (1 - 压缩率)
- 问题：用户网络带宽波动时，如何避免卡顿？
- 解决方案：
- 动态调整分辨率：4G环境使用720p，弱网切换480p；
- 降低FPS：从30FPS降至15FPS减少数据量；
- 关键帧优先：保持关键动作帧（如舞蹈转身）的高质量，过渡帧压缩更狠。
- 视频生成控制：
- 帧率与运动连贯性：生成舞蹈视频时，FPS<24会产生卡顿感（如早期Stable Video）；
- 分辨率与细节：4K分辨率需更大的Diffusion模型（如Sora的Patches技术）。
- 案例：Runway ML生成视频时，用户可指定“1080p@30FPS”参数平衡质量与成本。
- 动作识别优化：
- FPS选择：UCF101数据集处理时，采样15FPS（保留动作特征，减少冗余帧）；
- 分辨率裁剪：将原帧从224×224下采样至112×112，使3D CNN（如I3D）速度提升3倍。
- 案例：OpenAI的CLIP在视频理解中，对高分辨率帧提取关键语义特征。
- 多摄像头协同：
- 分辨率与检测精度：1920×1080分辨率下，YOLOv8可识别50m外行人，720p仅30m；
- FPS与实时性：30FPS时感知延迟33ms，满足L4级自动驾驶需求（延迟<100ms）。
- 案例：特斯拉HW4.0系统以1280×960@36FPS处理8路摄像头，每秒处理超2亿像素。
分镜是视频创作中用于规划镜头序列的视觉脚本，类似于“动态连环画”。它将剧本分解为具体的镜头单元，标注每个镜头的构图、时长、角色动作、场景切换逻辑等信息，目的是通过符合观众认知规律的视觉语言，传递连贯的叙事意图。
- 核心作用：
- 叙事逻辑控制：确保镜头顺序符合故事节奏，避免观众理解偏差。
- 制作效率提升：提前预演画面，减少后期返工成本。
- AI分镜特点：利用自然语言处理（NLP）和多模态模型，将文本剧本自动转换为分镜序列，支持动态调整镜头时长、角色站位等参数。
运镜指通过控制摄像机的运动路径（如平移、推拉、环绕等）和参数（焦距、视角、速度），增强画面动态感和情感表达。传统运镜依赖摄影师经验，而AI运镜通过算法自动规划路径，结合场景语义和物理约束生成流畅运动。
- 技术核心：
- 路径规划：基于目标跟踪和三维场景重建，生成平滑的相机轨迹（如贝塞尔曲线）。
- 动态调节：根据人物动作或场景变化实时调整运镜参数（如跟拍速度）。
用户上传300字剧本至昆仑万维的SkyReels平台，选择“奇幻冒险”风格后，AI自动生成6组分镜：
- 分镜1：主角持剑站立（全景镜头，2秒）；
- 分镜2：剑光特效（特写，1秒）；
- 分镜3：反派从阴影中现身（低角度镜头，3秒）。
AI通过分析剧本关键词（如“剑光”“阴影”），结合预训练的影视数据，自动分配镜头类型和时长，并添加BGM和动态表情。
使用Runway Gen-2生成森林中的帐篷场景时，通过调整以下参数实现电影级运镜：
- 水平平移（Horizontal）：镜头从左向右缓慢移动，展示河流与帐篷的空间关系；
- 变焦（Zoom）：从全景逐渐推近至帐篷细节，突出主体；
- 倾斜（Tilt）：垂直上移镜头，呈现背后的山脉全景，增强画面层次感。
- 分镜应用：
- 自动化剧本转视频：如字节跳动豆包模型，输入文本后生成多镜头分镜，保持角色和场景一致性（如电商广告中商品的多角度展示）。
- 动态调整：用户可通过提示词（如“增加特写镜头”）实时修改分镜结构。
- 运镜应用：
- 多模态控制：昆仑万维SkyReels支持“文字+手绘轨迹”输入，生成复杂运镜（如环绕拍摄人物对话）；
- 影视级渲染：爱诗科技PixVerse V2通过DiT架构实现镜头变焦与环绕，适配横竖屏多比例输出。
- 分镜优化：
- 数据增强：利用分镜标注数据训练模型，提升视频内容与文本描述的匹配度（如ImageNet训练中通过分镜标注强化物体识别）。
- 运镜算法：
- 目标跟踪：基于YOLO等模型实时跟踪目标，驱动相机运动（如体育赛事中自动跟拍运动员）；
- 物理模拟：通过强化学习优化相机路径，避免碰撞或抖动（如无人机航拍中的避障算法）。
- 分镜逻辑：
- 多摄像头协同：将不同视角的摄像头画面按分镜逻辑拼接，生成全景鸟瞰视图（如特斯拉FSD的8摄像头融合）。
- 运镜技术：
- 动态视角切换：根据路况自动切换摄像头焦点（如跟拍突然出现的行人）；
- 路径规划：借鉴运镜中的平滑轨迹算法，优化车辆变道和转弯的决策平滑性。
在AI视频生成领域，“视频漂移”（Video Drift）是一个关键的技术挑战和核心瓶颈，指视频序列中因时间维度建模不足或算法设计缺陷导致的帧间不一致性。具体表现为前后帧内容不连贯、物体运动轨迹异常、物理规律违背或画面质量突变，严重影响视频的真实性和可用性。
视频漂移的根源在于时间维度建模的局限性。传统视频生成模型（如RNN、3D CNN）难以捕捉长时依赖关系，而生成对抗网络（GAN）或扩散模型（Diffusion Model）在逐帧生成时缺乏全局时序约束。例如：
- 预测误差累积：在自回归模型中，前一帧的生成误差会传递到后续帧，导致偏差逐渐放大（类似“蝴蝶效应”）。
- 时空解耦不足：若模型未充分建模时空联合特征（如运动轨迹、物理规律），可能导致物体运动突变或背景逻辑矛盾（如人物穿墙而过）。
- 数据分布偏移：训练数据与生成场景差异过大时，模型难以泛化到复杂时序动态（如自动驾驶中罕见天气条件下的车辆运动）。
实际案例：
假设用Sora生成“一只猫从桌边跳下”的视频，若模型未准确建模重力加速度和肢体协调，可能出现猫在半空中突然停滞或落地姿势不自然的现象。这种帧间运动的不连贯即为视频漂移。
- 扩散Transformer（DiT）：如Sora通过时空碎片（Spacetime Latent Patches）统一编码视频的时空特征，利用Transformer的多头注意力机制捕捉长程依赖，减少帧间割裂感。
- 轨迹控制技术：如DragNUWA模型允许用户拖拽物体轨迹，直接约束运动路径，避免生成结果偏离预期。
- 帧间一致性损失：在损失函数中加入光流约束或运动平滑性惩罚项，强制模型生成连贯动作。
- 多阶段训练：先预训练静态图像生成，再逐步引入时序动态，降低学习难度。
- 物理引擎融合：在AIGC中引入物理仿真引擎（如刚体动力学），确保生成内容符合现实规律。
- 挑战：生成视频需保持长时序一致性（如人物动作、场景光照）。Sora等模型通过扩散Transformer减少漂移，但仍需应对复杂交互场景（如多人对话中的唇形同步）。
- 应用案例：影视特效制作中，AI生成角色动作需与实拍背景无缝融合。若漂移导致角色“穿帮”，需通过轨迹控制（如DragNUWA）或物理引擎修正。
- 挑战：视频预测模型（如PredRNN）需根据历史帧推测未来帧，漂移会导致预测结果偏离真实轨迹。
- 解决方案：采用循环一致性损失（Cycle Consistency Loss）或引入光流估计模块，约束相邻帧的运动合理性。
- 挑战：合成驾驶场景时，车辆运动轨迹需符合交通规则与物理规律。漂移可能导致虚拟车辆突然变道或碰撞，误导感知模型训练。
- 应用案例：启数光轮通过AIGC生成合成驾驶数据时，需结合仿真引擎实时验证轨迹合理性，避免生成“车辆悬浮”等异常场景。
首帧和尾帧生成视频大模型（First-Last Frame to Video, FLF2V）是AI视频领域的核心技术之一，其核心目标是通过用户提供的起始帧和结束帧图像，自动生成中间过渡视频内容。这类AI视频大模型在影视制作、广告创意、游戏开发等领域具有广泛应用价值。
-
条件控制与时空建模
- 首尾帧语义对齐：通过CLIP等视觉-语言模型提取首帧和尾帧的语义特征，利用交叉注意力机制（Cross-Attention）将特征注入扩散模型的生成过程，确保画面内容与输入图像的一致性。例如，阿里Wan2.1-FLF2V-14B通过首尾帧的CLIP特征引导生成中间帧，实现98%的画面匹配度。
- 运动轨迹预测：模型学习首尾帧之间的潜在运动规律，例如物体形变、镜头推拉等。采用时序扩散模型（Temporal Diffusion Model）结合运动轨迹预测的双支路架构，优化帧间连贯性，如Vidu Q1的“电影级运镜”功能。
-
高效压缩与潜在空间生成
- 3D因果变分自编码器（3D Causal VAE）：如阿里Wan-VAE将1080P视频压缩至1/128尺寸，保留动态细节（如毛发颤动、水波纹理），降低显存占用。
- 扩散变换器（Diffusion Transformer, DiT）：结合全注意力机制（Full Attention）和Flow Matching训练策略，生成高分辨率视频。例如，Wan2.1的DiT模块支持720P输出，并引入零初始化残差连接，避免干扰原始图像生成能力。
-
多模态条件融合
- 支持文本、音频等多模态输入，通过T5文本编码器或音频特征提取模块，增强生成内容的可控性。例如，Wan2.1可动态嵌入中英文字幕，Vidu Q1支持AI音效生成。
-
核心组件
- 编码器：负责将输入图像压缩至低维潜在空间。例如，Ruyi的Casual VAE模块将时空分辨率分别压缩至1/4和1/8，采用BF16精度表示。
- 扩散生成模块：基于DiT架构，处理潜在空间序列。阿里Wan2.1的DiT结合3D RoPE位置编码，捕捉时空依赖；图森未来Ruyi的Diffusion Transformer通过运动幅度控制参数调节生成强度。
- 条件控制分支：专门处理首尾帧输入，如Wan2.1的FLF2V模块将首尾帧与噪声拼接，作为模型输入，并通过掩码机制分离控制信号与生成内容。
-
参数规模与训练策略
- 大参数量模型（如Wan2.1-FLF2V-14B）通过三阶段训练（低分辨率预训练→高分辨率微调→细节优化）提升性能；轻量级模型（如Ruyi-Mini-7B）采用混合并行策略适配消费级显卡。
- 训练数据：通常使用数百万至数亿视频片段，覆盖多场景、多风格。例如，Ruyi使用200M视频片段训练，Wan2.1结合WebVid-10M等数据集。
-
输入处理
- 图像预处理：将首尾帧标准化为统一分辨率（如720P），分割为视频序列的首帧和尾帧，并通过插值或循环叠加扩展时长（如Ruyi支持最长5秒/120帧）。
- 语义特征提取：利用CLIP或ResNet提取图像特征，作为条件输入扩散模型。
-
潜在空间生成
- 噪声注入与去噪：在扩散过程中，模型逐步去除潜在空间中的噪声，同时结合首尾帧特征生成连贯帧序列。例如，Wan2.1通过50步迭代优化细节。
- 多帧并行生成：所有帧的潜在张量同时初始化，通过自注意力机制保证帧间一致性，避免闪烁问题。
-
解码与后处理
- 潜在空间解码：利用VAE解码器将潜在序列转换为像素空间视频帧。
- 超分辨率与插值：使用FILM算法或超分模型提升画质，如Vidu Q1支持1080P直出。
| 模型 | 参数量 | 分辨率支持 | 核心特性 | 开源情况 |
|---|---|---|---|---|
| Wan2.1-FLF2V-14B | 14B | 720P | 首尾帧精准控制、中英文字幕生成 | 开源（GitHub） |
| Ruyi-Mini-7B | 7.1B | 1024×1024 | 多分辨率适配、运动幅度控制 | 开源（Hugging Face） |
| Vidu Q1 | 未公开 | 1080P | 动漫风格优化、AI音效生成 | 商业API |
在训练文生视频（Text-to-Video）模型时，输入数据的处理是一个复杂但高度结构化的过程，尤其涉及对视频数据的时空建模和文本条件的高效融合。以下是Rocky总结的处理输入数据（尤其是批量数据）的关键步骤和技术细节：
- 帧采样与切分：
从原始视频中均匀或随机采样固定数量的帧（如16帧），形成时间连续的片段。例如，将视频从每秒30帧下采样到每秒5帧，以降低计算量。 - 空间标准化：
每帧图像会被调整到统一分辨率（如128x128、256x256、512x512、1024x1024等），并进行归一化（如像素值缩放到[-1, 1]或[0, 1]）。 - 时间维度对齐：
若视频长度不一，需通过截断（取前N帧）或插值（复制/插值帧）对齐时间维度。
- 文本编码：
使用预训练模型（如CLIP、BERT、T5）将文本描述转换为固定维度的嵌入向量（embedding）。例如，CLIP的文本编码器生成768维的语义向量。 - 条件融合：
文本嵌入可能通过交叉注意力（Cross-Attention）或拼接（Concatenation）与视频特征结合，指导生成过程。
- Batch 结构：
一个batch包含多个样本（如batch_size=8），每个样本对应一个视频片段及其文本描述。- 视频数据：形状为
(B, T, C, H, W)，其中：
B=batch_size，T=时间步（帧数），C=通道数（RGB为3），H和W为空间尺寸。 - 文本嵌入：形状为
(B, D)，D为文本嵌入维度（如768）。
- 视频数据：形状为
- 随机打乱与增强：
应用数据增强技术（如随机裁剪、水平翻转、颜色抖动）以提升泛化性，需保证同一视频片段内的帧同步变换。
- 噪声添加：
对视频的每一帧逐步添加噪声（前向扩散过程），噪声强度由调度器（如DDPM、DDIM）控制。 - 时空建模：
- 3D卷积：直接处理时空立方体（如3D U-Net）。
- 伪3D卷积：分解为空间2D卷积+时间1D卷积（如Spatio-Temporal Separable Convolutions）。
- Transformer：时空注意力机制（如ViViT）建模帧间关系。
- 条件注入：
文本嵌入通过交叉注意力层与视频特征交互，指导去噪过程。例如，在U-Net的中间层插入文本条件。
- 扩散损失：
模型预测添加到视频中的噪声，损失函数为预测噪声与真实噪声的均方误差（MSE）。 - 时间一致性约束：
额外损失项（如光流一致性、相邻帧相似性）可能用于增强生成视频的连贯性。
- 加载Batch数据：
从数据集中加载8个样本，每个样本包含16帧512x512视频和对应的文本描述。 - 添加噪声：
对每个视频随机选择一个扩散时间步t，按调度器添加对应强度的高斯噪声。 - 模型前向传播：
将噪声视频（形状8x16x3x512x512）和文本嵌入（8x768）输入模型，预测噪声。 - 计算损失与反向传播：
比较预测噪声与真实噪声，计算MSE损失并更新参数。
视频扩散模型通过引入时间维度来处理时间一致性。具体来说，它们使用3D卷积和注意力机制来捕捉视频帧之间的依赖关系。此外，模型还可以使用因果注意力， 只关注前面的帧，以确保生成的帧与之前的帧一致。 为了降低计算成本，模型通常会采用稀疏因果注意力或因子化的伪3D架构。
视频扩散模型相对于传统视频生成模型（如GAN）有以下优势：
- 更高的图像质量：扩散模型能够生成更高质量的图像，尤其是在细节和纹理方面。
- 更好的时间一致性：通过引入时间维度和因果注意力机制，扩散模型能够更好地捕捉视频的时间动态。
- 更灵活的训练：扩散模型可以基于预训练的文本到图像模型进行微调，从而更容易适应不同的任务和数据集。
- 更广泛的适用性：扩散模型不仅适用于视频生成，还可以用于视频编辑、修复和增强等多种任务。
- 基于UNet, 代表工作: Make-A-Video, AnimateDiff
-
优点：
- 计算效率高，适合低分辨率
- 局部特征捕捉能力强
- 训练稳定性较好
-
缺点：
- 长程依赖建模有限
- 扩展性较差
- 高分辨率视频生成质量受限
- Transformer架构, 代表工作：CogVideo, Goku, HunyuanVideo
-
优点：
- 长序列建模能力强
- 全局依赖关系捕捉好
- 扩展性强，适合大模型
-
缺点：
- 计算复杂度高
- 训练数据需求大
- 需要精心设计注意力机制
主要技术挑战：
- 精确的唇同步：确保口型与语音内容精确匹配
- 自然身体动作：避免僵硬不自然的身体运动
- 多模态对齐：协调音频、文本和视觉特征
- 身份一致性：保持角色身份特征稳定
- 长视频连续性：维持长时间序列的连贯性
主流解决方案：
- 特征提取：
- 使用Wav2Vec2等模型提取音频特征
- 时间对齐处理匹配视频帧率
- 条件融合方法：
- 交叉注意力机制（如Hallo3）
- 像素级特征嵌入（如OmniAvatar）
- 低秩适应(LoRA)保持基础模型能力
- 运动控制：
- 3DMM参数预测（传统方法）
- 端到端运动生成（现代方法）
- 手势和表情分离控制
- 评估指标：
- Sync-C/Sync-D量化唇同步
- FVD评估视频质量
- 人工评估自然度和表现力
- 交叉注意力机制：
- 在UNet或Transformer中插入交叉注意力层
- 视觉特征作为Query，音频特征作为Key/Value
- 优点：灵活性强，可学习复杂关系
- 缺点：计算开销大，可能过度关注局部
- 像素级特征嵌入：
- 将音频特征映射到与视频潜在空间对齐的维度
- 在像素/特征图级别直接相加或拼接
- 优点：计算高效，保持空间关系
- 缺点：需要精心设计对齐策略
- 多层级融合：
- 在不同网络深度层级进行多次融合
- 可结合注意力机制和特征嵌入
- 优点：多尺度特征利用
- 缺点：实现复杂度高
- 潜在空间映射：
- 使用Audio Pack等模块将音频映射到视频潜在空间
- 在潜在空间进行条件融合
- 优点：保持生成质量
- 缺点：需要额外训练映射网络
LoRA在视频生成模型训练中的优势：
- 参数效率：
- 仅需微调少量参数（低秩矩阵）
- 典型设置：rank=128，alpha=64
- 相比全参数微调可减少90%以上训练参数
- 防止灾难性遗忘：
- 保留基础模型原有能力
- 避免过拟合到新任务数据
- 特别适合多任务学习场景
- 训练稳定性：
- 缓解小数据集上的过拟合
- 保持原始模型的生成质量
- 梯度更新更稳定
- 模块化扩展：
- 可灵活添加/移除适配器
- 支持多条件并行控制
- 便于模型组合和迁移
- 实际效益：
- 大幅降低GPU内存需求
- 加快训练收敛速度
- 支持更多实验迭代
- 帧重叠策略：
- 训练时使用多帧前缀
- 推理时保留重叠区域（如OmniAvatar使用13帧重叠）
- 分段生成时使用前段末尾作为后段开头
- 光流约束：
- 在损失函数中加入光流一致性项
- 约束相邻帧间的像素运动
- 提高短期运动平滑性
- 时间注意力：
- 在Transformer中引入时间维度注意力
- 显式建模帧间依赖关系
- 如AnimateDiff的运动感知模块
- 潜在空间约束：
- 在潜在空间施加时间平滑约束
- 使用3D卷积或时间池化
- 保持潜在编码的时间连贯性
- 参考帧机制：
- 固定初始帧或关键帧
- 通过注意力机制传播参考特征
- 如OmniAvatar的身份保持策略
- 计算资源需求：
- 训练需要数百GPU weeks
- 高分辨率生成成本高昂
- 实时推理难以实现
- 长视频生成：
- 超过1分钟视频质量下降
- 时间一致性难以保持
- 错误传播累积问题
- 复杂场景理解：
- 多角色交互困难
- 物理规律符合度低
- 复杂镜头运动控制
- 可控性与可预测性：
- 细粒度控制不精确
- 提示词理解不准确
- 随机性难以完全控制
- 多模态融合：
- 音频-视频-文本深度协同
- 跨模态因果关系建模
- 时间对齐精度提升
- 评估体系：
- 缺乏全面客观评估标准
- 人工评估成本高
- 难以量化"自然度"
- 抽象理解任务：如视频分类（Video Classification）、动作识别（Action Recognition）、文本-视频检索（Text-Video Retrieval）、视频到文本摘要（Video-to-Text Summarization）、视频描述生成（Video Captioning）和视频问答（Video QA）。
- 时序理解任务：如视频摘要（Video Summarization）、高光检测（Highlight Detection）、时序动作定位（Temporal Action Localization）、时序 grounding（Temporal Grounding）和密集视频描述（Dense Video Captioning）。
- 时空理解任务：如目标跟踪（Object Tracking）、重识别（Re-Identification）、视频显著性检测（Video Saliency Detection）、视频实例分割（Video Instance Segmentation）等。
发展历程分为四个阶段：
- 传统方法：依赖手工特征（如SIFT、HOG）和机器学习算法（如SVM、HMM）。
- 早期神经模型：引入CNN、LSTM、两流网络（Two-Stream Networks）和3D卷积（如C3D、I3D）。
- 自监督视频预训练：如VideoBERT，通过预训练-微调范式提升泛化能力。
- 大语言模型赋能视频理解（Vid-LLMs）：利用LLM的上下文学习、指令跟随和推理能力，实现多粒度、多任务视频理解。
ViT模型（Vision Transformer） 是一种将Transformer架构应用于图像识别任务的模型，由Google团队在2020年提出. ViT模型的提出是为了解决传统卷积神经网络（CNN）在处理图像时的局限性，通过将图像分割成若干个patch， 并将这些patch视为序列数据输入到Transformer中进行处理，从而实现图像识别。
ViT模型的工作原理
- 图像分割：首先将输入的图像分割成若干个小的patch（类似于将图像切割成小块）。
- 线性嵌入：每个patch通过一个线性层被转换为高维向量。
- 位置编码：为了保持空间信息，给每个patch添加位置编码。
- Transformer编码：将处理后的数据输入到Transformer编码器中进行特征提取和分类。
ViT模型的优缺点
优点：
- 简单且效果好：ViT模型结构简单，效果显著，尤其是在大规模数据集上表现优异。
- 可扩展性强：随着数据量的增加，ViT的性能会显著提升。
缺点：
- 计算量大：相比于CNN，ViT的计算量更大，尤其是在小数据集上表现较差。
- 缺乏归纳偏差：ViT缺乏CNN的归纳偏差，如平移不变性和局部感受野，这在一定程度上影响了其性能。
MLLM的模态接口主要有两种类型：投影式连接器和查询式连接器。
- 投影式连接器：这种连接器的核心思想是将编码器输出的特征转换为标记（tokens），然后将这些标记与文本标记一起发送到LLM中。具体实现上， 通常会使用一组可学习的查询标记来提取信息，这种方式最初在BLIP-2中实现，并随后被多种工作继承和改进。 例如，Q-Former风格的连接器通过压缩视觉标记来减少表示向量的数量。
- 查询式连接器：这种连接器通过一个线性MLP将视觉标记投影到与词嵌入对齐的特征空间中。例如，LLaVA系列使用一个或两个线性MLP来实现这一点。
此外，还有一种融合式连接器，它允许在LLM内部进行特征级融合。例如，Flamingo在LLM的冻结Transformer层之间插入额外的交叉注意力层， 从而增强语言特征与外部视觉线索的结合。
-
指令调优：指令调优的主要目标是教授模型更好地理解用户指令并完成任务。具体来说，指令样本通常包括一个可选的指令和一个输入-输出对。 模型被训练以预测给定指令和输入的输出。通过指令调优，模型可以学习到如何根据用户的指示生成相应的响应，从而提高了模型的灵活性和泛化能力。
-
对齐调优：对齐调优用于将模型与特定的人类偏好对齐。目前主要使用强化学习（RLHF）和直接偏好优化（DPO） 两种技术。RLHF通过人类反馈监督来优化模型， 使模型生成的响应更符合人类的期望。DPO则通过简单的二元分类损失来学习人类偏好，简化了整个流程。对齐调优的目的是确保模型生成的响应不仅在语义上正确， 而且在情感和主观感受上也与人类偏好一致。
1. 并行训练技术：
- 数据并行（Data Parallel）： 这是最常见的并行方式，通过将输入数据按batch维度划分，每个GPU计算一部分数据，然后将梯度汇总求平均。 这种方法简单易行，但需要足够的显存来存储模型副本.
- 张量并行（Tensor Parallel）： 当单个GPU无法容纳整个模型时，可以将模型张量拆分到多个GPU上。例如，对于线性变换Y=AX，可以将A按列或行拆分.
- 流水线并行（Pipeline Parallel）： 将模型分成多个阶段，每个阶段由不同的GPU处理，适用于非常大的模型，但需要解决跨阶段通信和同步问题.
2. 显存优化技术：
- 梯度累积（Gradient Accumulation）： 在显存不足时，将多个小批次的数据累积起来一起计算梯度，减少对显存的需求。
- 模型剪枝（Model Pruning）： 通过移除不重要的参数来减少模型大小和计算需求，适用于已经训练好的模型。
- 量化（Quantization）： 将模型的权重和激活值从高精度转换为低精度，减少存储和计算需求。
3. 其他技术：
- 分布式训练：将训练任务分配到多个节点上，通过通信来同步梯度和更新模型，适用于大规模训练任务。
- 混合精度训练： 结合使用高精度和低精度计算，平衡计算速度和精度，适用于需要高性能计算的场景。
在交叉注意力机制中，模型会使用一个输入序列（例如问题）作为查询（Query），然后根据另一个输入序列（例如文本段落）计算与其相关的注意力权重。 这种机制允许模型动态地关注不同的输入，决定哪些部分最重要。
交叉注意力的主要功能是捕捉两个输入之间的依赖关系。 例如，在问答系统中，交叉注意力机制可以让模型根据问题动态选择文本段落中最相关的部分，从而生成准确的答案。
交叉注意力机制基于查询（Query）、键（Key） 和 值（Value） 的计算，它的计算流程类似于自注意力机制，但有一个关键区别： 自注意力机制中的查询、键和值都来自同一个输入序列，而交叉注意力机制的查询和键/值来自不同的输入序列。
长距离依赖处理：Transformer 通过自注意力机制直接计算序列中任意两点间的依赖关系,避免了RNN和LSTM中的逐步传播，因此能有效捕捉长距离依赖。
优势：相比RNN和LSTM，Transformmer 具有并行化处理的优势,缩短了训练时间。同时它避免了梯度消失问题，提高了对长序列的建模能力。
AnyRes技术通过将高分辨率图像分割成不同配置的子图像网格（如2x2、1x{2,3,4}、{2,3,4}x1等），并将其拼接成序列输入模型，从而实现对任意分辨率图像的高效处理。
在视频理解中，AnyRes技术将视频中的每一帧视为一个高分辨率图像，通过分割和拼接的方式将其转换为模型可处理的序列，使得LLaVA-NeXT能够利用仅在图像上训练的模型来理解和处理视频内容， 突破了传统模型在处理视频时需要额外训练的限制。
- 媒体娱乐：视频摘要、推荐（如YouTube）、自动字幕生成。
- 交互系统：虚拟教育助手、手语翻译、游戏剧情生成。
- 医疗与安全：医疗视频分析（如诊断辅助）、监控异常检测、自动驾驶环境理解。
- 工业部署：边缘计算、联邦学习（如隐私保护）。
挑战：
- 细粒度理解不足（如情感、场景动态）。
- 长视频处理效率低（计算和内存开销大）。
- 多模态对齐困难（视觉-音频-文本同步）。
- 幻觉问题（生成与视频内容无关的响应）。
- 工业部署难度大（需模型压缩、实时处理）。
未来方向：
- 开发高效长视频建模（如滑动窗口、记忆机制）。
- 增强多模态融合（如跨模态注意力）。
- 减少幻觉（通过后训练策略、增强时空上下文）。
- 推动标准化评估基准（如统一指标、多样化数据集）。
扩散模型在视频编辑中的主要挑战包括：
- 动态和时间维度：将静态图像的扩散模型适应到动态和视频的时间维度是一个技术难题。视频包含连续的图像序列，需要处理帧间的动态变化和时间一致性。
- 高质量视频数据集的稀缺性：视频数据通常比图像数据更难收集、过滤和存储。高质量的视频数据集较少，这限制了扩散模型在视频编辑中的应用和发展。
- 帧间一致性和质量：在视频编辑过程中，保持帧间的一致性和质量是一个重要的挑战。特别是需要在编辑视频时避免出现抖动、扭曲和其他视觉质量问题。
特征注入方法在视频编辑中的具体应用包括：
- 双分支方法：如Video-P2P和Vid2Vid-Zero，利用交叉注意力图注入和零文本反转等技术，分别从重建分支和编辑分支注入特征，确保语义一致性和减少内存使用。
- 多分支方法：如UniEdit和AnyV2V，通过引入重建和运动参考两个辅助分支，分别注入空间自注意力查询特征和时间自注意力查询特征，实现外观和运动的解耦编辑。
优势包括：
- 运动对齐：特征注入方法在保持源视频运动的同时修改其外观的任务中表现优异，特别是在需要精确控制视频运动的情况下。
- 语义一致性：通过注入注意力图和隐藏特征，可以更好地保持视频的语义一致性和可编辑性，避免编辑后的视频出现语义混乱或失真。
- 计算效率：尽管每次编辑的生成时间略长，但特征注入方法通常需要较少的预处理时间，适用于实时或近实时的视频编辑应用。
在视频编辑中，光流（Optical Flow）是一种重要的技术，用于表示和分析视频中的运动信息。
计算光流：使用算法（如Lucas-Kanade、Farneback或RAFT）计算两帧之间的光流。这些算法通过分析像素强度的变化来估计运动。
光流的应用：
- 运动补偿：在编辑过程中，使用光流来调整新内容的位置，使其与背景的运动一致。
- 帧间插值：通过光流信息，可以在视频中插入新的帧，以平滑运动轨迹。
- 运动引导的编辑：在编辑时，根据光流信息来引导内容的运动路径，确保编辑的自然性。
通过利用光流，视频编辑可以实现更自然和流畅的运动表现，提升编辑质量和观众的观看体验。其主要应用场景：
- 视频稳定：通过分析光流，可以识别和补偿摄像机的抖动，从而稳定视频内容。
- 视频合成：在视频合成中，光流可以用于将一个视频中的运动应用到另一个视频中。例如，可以将一个人的动作从一个视频转移到另一个视频中的人身上。
- 对象跟踪：光流可以用于跟踪视频中的特定对象，帮助在编辑过程中保持对象的连续性和一致性。
在视频编辑中使用潜在状态初始化有几个关键原因，主要涉及保持视频内容的一致性和编辑的有效性：
-
保持低频结构： 视频中的低频成分通常包含重要的背景信息和整体结构。通过从源视频中初始化潜在状态，可以保留这些低频信息，确保编辑后的视频在整体结构和背景上与原始视频一致。
-
减少编辑溢出： 初始状态的合理设置可以帮助减少编辑过程中可能出现的溢出现象，即编辑操作意外影响到不应被修改的区域。通过从源视频中提取初始状态，可以更好地控制编辑的影响范围。
-
提高编辑效率： 合理的初始状态可以加速编辑过程。如果初始状态接近目标状态，模型在去噪过程中需要的迭代次数会减少，从而提高计算效率。
-
保持时间一致性： 在视频编辑中，时间一致性是一个重要挑战。通过使用视频帧的初始状态，可以在多帧编辑中保持一致的运动和外观，避免帧间出现不一致的现象。
-
处理动态场景： 对于动态场景，初始状态可以帮助模型更好地理解和模拟场景中的运动模式。这对于需要精确控制运动轨迹的编辑任务尤为重要。
-
支持细粒度控制： 在某些编辑任务中，可能需要在不改变整体结构的情况下进行细微调整。初始状态可以帮助模型在保持整体一致性的同时，专注于局部编辑。
在视频编辑中，拖拽编辑（也称为点驱动编辑或交互式点编辑）提供了一种直观且灵活的方式来控制和操纵视频内容。这种方法的核心思想是通过用户在视频帧上直接操作（如拖拽）来指定编辑的目标和行为。以下是拖拽编辑在视频编辑中的几个应用场景：
-
对象移动和替换： 用户可以通过在视频帧上点击并拖拽对象来移动它们，或者替换为其他对象。这种方法特别适用于需要精确控制对象位置和运动的场景。
-
实时交互： 拖拽编辑允许用户在编辑过程中实时查看和调整效果，提供了一种直观的交互方式。这对于需要快速原型设计和即时反馈的场景非常有用。
-
非刚性变换： 通过拖拽编辑，用户可以实现对视频中对象的非刚性变换，如缩放、旋转和形变。这对于需要精细调整的场景非常有用。
-
多对象编辑： 用户可以同时选择和编辑多个对象，通过拖拽来协调它们的运动和位置关系。这对于复杂的场景和多角色视频尤其有用。
-
动态场景控制： 在动态场景中，拖拽编辑可以帮助用户控制特定对象的运动路径，例如在体育比赛或动作视频中突出显示特定运动员的动作。
-
无监督编辑： 拖拽编辑可以在不需要大量预训练或标注的情况下进行，适合快速原型开发和简单的视频编辑任务。
-
个性化定制： 用户可以根据自己的喜好和需求进行个性化编辑，例如在社交媒体视频中添加或移除特定元素。
拖拽编辑通过提供直观的用户界面和灵活的控制方式，极大地提高了视频编辑的效率和创造性。这种方法特别适用于需要用户参与和实时反馈的编辑任务。
在视频编辑中实现姿态引导的编辑，主要有以下几种方式：
1. 基于关键帧的动画技术
- 姿态捕捉与关键帧设定: 首先，通过姿态捕捉设备（如光学动作捕捉系统、惯性动作捕捉设备等）获取人物或物体的姿态数据。对于没有设备辅助的情况，也可以手动在视频编辑软件中设定关键帧来定义起始和结束姿态。例如，在Adobe After Effects中，动画师可以在时间轴上为图层的关键帧设置不同的姿态属性，如位置、旋转角度、缩放比例等，来构建姿态的变化路径。
- 插值计算: 软件根据设定的关键帧，通过插值算法计算中间帧的姿态。常见的插值方法有线性插值、贝塞尔曲线插值等。线性插值简单直接，在两个关键帧之间按照固定比例计算中间状态；贝塞尔曲线插值则可以创建更平滑、自然的姿态过渡效果，通过调整控制点来精确控制曲线的形状，从而影响姿态变化的节奏和曲线。
2. 利用机器学习与人工智能技术
- 姿态估计模型: 使用预训练的姿态估计模型（如OpenPose等开源模型），从视频帧中自动检测人物或物体的姿态关键点（如关节位置、轮廓顶点等）。这些模型基于深度学习算法，经过大量数据的训练，能够准确地识别不同的姿态。
- 姿态引导的编辑操作 根据姿态估计得到的结果，进行编辑操作。例如，在视频合成中，可以根据源视频中的姿态特征，将其映射到目标对象上，实现姿态的转移。或者利用姿态信息来驱动特效的生成，如根据人物的运动姿态触发特定的光影效果或粒子特效。一些高级的视频编辑软件开始集成这种基于机器学习的姿态引导编辑功能，为用户提供更智能、自动化的编辑体验。
3. 借助插件与外部工具
- 专业插件: 市场上有一些专门用于姿态引导编辑的插件，这些插件通常提供更便捷的操作界面和丰富的功能。例如，某些插件可以直接导入姿态捕捉数据，并将其转换为可编辑的动画曲线，方便视频编辑人员在熟悉的软件环境中进行调整。
- 外部姿态捕捉软件与视频编辑软件的协同: 使用外部的姿态捕捉软件（如MotionBuilder等）获取姿态数据，然后将数据导出并导入到视频编辑软件中。这种方式可以利用姿态捕捉软件的专业性和精确性，同时结合视频编辑软件的丰富编辑功能，实现姿态引导的高质量视频编辑。
1. 视频的规范表示
视频规范表示是一种对视频内容进行标准化描述和组织的方式，将视频数据转化为统一、便于处理和分析的形式，涵盖视频的基本属性（如分辨率、帧率）、内容特征（如场景、物体、动作）等信息。
2. 在视频编辑中的作用
- 提高编辑效率：统一格式便于软件识别处理，减少格式转换烦恼，快速定位、检索素材，节省时间。
- 保证兼容性：确保不同编辑工具、软件间视频文件能正常导入导出、处理，避免兼容性问题。
- 便于内容管理：清晰描述视频特征，利于分类、标注、检索，方便团队协作及长期素材库管理。
- 支持智能编辑：为智能算法提供标准数据，实现自动剪辑、特效添加、内容理解等智能编辑功能。
在视频编辑中，可从以下几方面评估生成视频的质量：
一、视觉方面
- 分辨率与清晰度：检查视频的分辨率是否符合需求，高分辨率（如4K、8K）通常意味着更清晰的画面，但也要考虑播放设备和用途。画面应无模糊、锯齿现象，细节（如文字、物体边缘）要清晰可辨。
- 色彩准确性：色彩应还原真实场景或符合创作意图。检查是否存在偏色、色彩饱和度过高或过低的情况。例如，人物肤色应自然，风景的色彩要协调。
- 对比度：合适的对比度能使画面亮部更亮，暗部更暗，增强视觉冲击力。过高的对比度可能导致亮部过曝、暗部死黑，丢失细节；过低则使画面看起来平淡。
- 帧率稳定性：帧率决定了视频的流畅度。正常情况下，帧率应稳定，如常见的24fps、30fps或60fps。帧率波动会导致视频卡顿或闪烁。
二、音频方面
- 音量平衡：确保视频中的各个音频元素（如对话、背景音乐、环境音效）音量平衡。对话应清晰可听，背景音乐和环境音效不能掩盖对话，也不能过于微弱。
- 音频清晰度：音频应无杂音、失真或爆音。人声、音乐和环境音都应清晰，特别是在有语音内容时，发音要能被准确理解。
- 音频与视频同步：音频和视频必须严格同步，声音和对应的画面动作要一致，否则会影响观看体验。
三、内容方面
- 连贯性：视频内容的情节、动作、场景转换要连贯。剪辑点应自然，避免出现突兀的跳跃或中断，让观众能够轻松理解视频的叙事逻辑。
- 准确性：如果视频传达特定信息（如新闻报道、教学视频），内容必须准确无误，包括事实、数据、演示操作等。
- 吸引力：视频应能吸引观众的注意力，通过有趣的情节、独特的视觉效果或引人入胜的音频等手段，使观众愿意观看下去。
在视频编辑中实现多模态引导：
- 数据准备与导入：收集多模态素材，统一格式并预处理，确保同步。
- 选择工具：用支持多模态的软件及插件，如Adobe Premiere Pro等。
- 编辑操作
- 视觉：用关键帧动画、转场效果。
- 听觉：剪辑混音音频，添加音效。
- 文本：添加编辑字幕，用文字特效。
- 智能辅助：利用AI技术自动化处理，用智能模板预设。
- 反馈优化：实时预览调整，收集反馈完善。
提高效率的方法包括使用低秩适应（LoRA）、令牌合并（Token Merging）等技术来减少计算复杂度。此外，设计高效的模型架构也可以加速推理过程。
编辑溢出是指编辑目标对象时影响其他对象的问题。通过精确的条件输入和细粒度的空间-时间控制，可以减少编辑溢出。
V2VBench是一个基准测试平台，用于定量评估视频编辑方法。它包括多种质量指标和效率指标，通过在这些指标上比较不同的方法来选择最佳的技术。
细粒度的时间控制可以通过使用时间注意力机制和多尺度特征融合来实现。这些技术可以帮助模型在不同时间尺度上捕捉和编辑视频内容。
在视频编辑中处理大模型内存消耗问题可从以下方面着手：
模型优化
- 模型压缩：量化减少参数表示精度；剪枝删除不重要连接；知识蒸馏用小模型学习大模型知识，在视频编辑任务中应用可降低内存占用。
- 架构优化：采用轻量级架构如MobileNet等，以及分层设计，按需加载子模块，可降低内存需求。
数据处理
- 采样与降维：数据采样减少输入规模，降维处理提取关键特征，能降低模型内存消耗。
- 缓存与预加载：合理设置缓存，提前预加载可能数据，可减少内存占用和等待时间。
硬件与系统
- 硬件加速：利用GPU并行计算和分布式计算，可提高效率、降低内存压力。
- 内存管理：优化内存分配策略，采用内存池等技术；建立内存回收机制，及时释放内存。
一个具体的例子是Dreamix模型，它基于图像扩散模型并扩展到视频编辑。Dreamix首先对输入视频进行下采样并添加高斯噪声， 然后通过条件扩散过程生成新的视频帧。该模型通过在每个视频上进行微调来保留整个视频和单个帧的外观。 Dreamix能够在不改变原始视频结构的情况下编辑对象的外观和动作，甚至可以从单个输入图像或一组图像中生成动画。
在视频编辑中，视频扩散模型通过以下方式平衡编辑能力和时间一致性：
- 条件扩散：在扩散过程中引入条件信息（如文本提示或预处理特征），以确保编辑操作与视频内容一致。
- 注意力机制：使用自注意力或交叉注意力机制来捕捉视频帧之间的关系，确保编辑后的帧与周围帧一致。
- 微调技术：在特定视频上进行微调，以保留视频的结构和运动，同时进行所需的编辑。
- 混合方法：结合无条件和有条件的编辑方法，以实现更灵活和一致的编辑效果。