File tree Expand file tree Collapse file tree 2 files changed +5
-5
lines changed
Expand file tree Collapse file tree 2 files changed +5
-5
lines changed Original file line number Diff line number Diff line change 2929 - [ 6.3 自蒸馏和在线蒸馏] ( #63-自蒸馏和在线蒸馏 )
3030 - [ 6.3.1 自蒸馏] ( #631-自蒸馏 )
3131 - [ 6.3.2 在线蒸馏] ( #632-在线蒸馏 )
32- - [ 6.3.2 结合在线蒸馏和自蒸馏] ( #632 -结合在线蒸馏和自蒸馏 )
32+ - [ 6.3.3 结合在线蒸馏和自蒸馏] ( #633 -结合在线蒸馏和自蒸馏 )
3333 - [ 6.4 知识蒸馏的应用] ( #64-知识蒸馏的应用 )
3434 - [ 6.4.1 目标检测] ( #641-目标检测 )
3535 - [ 6.4.2 语义分割] ( #642-语义分割 )
@@ -317,7 +317,7 @@ $C_{\text {in }} \times C_{\text {out }}$的矩阵。教师网络和学生网络
317317
318318> 在线蒸馏与传统的蒸馏方法的不同之处在于,在线蒸馏通常是在训练过程中让教师模型和学生模型同时学习并相互传递知识,而传统蒸馏方法是预先训练一个教师模型再将知识传递给学生模型。
319319
320- ### 6.3.2 结合在线蒸馏和自蒸馏
320+ ### 6.3.3 结合在线蒸馏和自蒸馏
321321
322322&emsp ;&emsp ; 此外,还可以结合在线蒸馏和自蒸馏方法,采用“成为你自己的老师”策略,通过深度监督 + 蒸馏来优化模型。使用深层网络的输出去蒸馏较浅层的预测,提升浅层的学习能力。模型不仅可以从自身的不同层次中学习,还可以通过在线的方式与其他模型进行相互学习。直觉上,越接近最后阶段的标签越可靠,因此可以用后期的标签监督前期的预测。具体流程如下图所示:
323323- 输入图像(如熊猫)经过多个ResBlock(残差块),每个残差块后接有瓶颈层(Bottleneck)和全连接层(FC Layer),最后输出分类结果。
Original file line number Diff line number Diff line change 1- # 第9章 低秩分解
1+ # 第7章 低秩分解
22
3- ![ ] ( ./ images/low_rank.png)
3+ ![ ] ( images/low_rank.png )
44
55&emsp ;&emsp ; 本章我们将逐步学习低秩分解的理论基础与实践应用。7.1节首先对低秩分解进行了总体介绍,7.2节深入阐释了矩阵的“秩”这一核心概念及其分解思想。7.3节详细讲解了多种主流的分解方法,包括作为理论基石的奇异值分解(SVD)、面向高维张量的Tucker分解和CP分解,以及强调可解释性的非负矩阵分解(NMF)。随后,7.4节系统性地回答了为何要进行低秩分解,分析了其在模型压缩、计算加速、特征提取和去噪等方面的价值。7.5节探讨了在分解中至关重要的“秩”的选择策略。7.6节指出了在深度学习模型中可以应用低秩分解的具体对象。最后,7.7节将通过实践案例来巩固所学知识。
66
7- - [ 第9章 低秩分解] ( #第9章 -低秩分解 )
7+ - [ 第7章 低秩分解] ( #第7章 -低秩分解 )
88 - [ 7.1 低秩分解介绍] ( #71-低秩分解介绍 )
99 - [ 7.2 何为低秩分解 (What is Low-Rank Decomposition?)] ( #72-何为低秩分解-what-is-low-rank-decomposition )
1010 - [ 7.2.1 矩阵的秩] ( #721-矩阵的秩 )
You can’t perform that action at this time.
0 commit comments