File tree Expand file tree Collapse file tree 3 files changed +3
-3
lines changed
Expand file tree Collapse file tree 3 files changed +3
-3
lines changed Original file line number Diff line number Diff line change 22
33![ 神经网络架构搜索示意图] ( images/nas.jpg )
44
5- &emsp ;&emsp ; 本章我们将在 5.1 节介绍神经网络架构搜索,在5.2节介绍神经网络架构搜索的基本概念,5.3节介绍搜索空间的概念,5.4节介绍搜索策略,5.5介绍几个低成本的模型性能评估方法,5.6节介绍带硬件限制的神经网络架构搜索,以及在5.7节介绍神经网络架构搜索后的应用。这些内容构成了本章的主要内容 。
5+ &emsp ;&emsp ; 本章我们将在 5.1 节介绍神经网络架构搜索,在5.2节介绍神经网络架构搜索的基本概念,5.3节介绍搜索空间的概念,5.4节介绍搜索策略,5.5介绍几个低成本的模型性能评估方法,5.6节介绍带硬件限制的神经网络架构搜索,以及在5.7节介绍神经网络架构搜索后的应用。最后5.8节通过实践介绍如何进行神经网络架构搜索 。
66
77
88## 神经网络架构搜索介绍
Original file line number Diff line number Diff line change 33
44![ 知识蒸馏示意图] ( images/Distillation.png )
55
6- &emsp ;&emsp ; 本章我们将在 6.1 节介绍知识蒸馏概、相关术语、具体过程以及其中比较关键的温度和损失函数, 在6.2节介绍知识蒸馏的匹配内容, 在6.3节介绍自蒸馏和在线蒸馏 ,在6.4节介绍知识蒸馏的应用 ,在6.5节介绍网络增强 ,在6.6节通过具体实践加深对知识蒸馏的理解, 在6.7节介绍损失函数部分推导 。
6+ &emsp ;&emsp ; 本章我们将在 6.1 节介绍知识蒸馏概、相关术语。 在6.2节介绍蒸馏的具体过程。 在6.3节介绍蒸馏的温度。6.4节介绍了蒸馏的损失函数 ,在6.5节介绍知识蒸馏的匹配内容 ,在6.6节介绍自蒸馏和在线蒸馏 ,在6.7节介绍知识蒸馏的应用。 在6.8节介绍了网络增强的概念。在6.9节通过具体实践加深对知识蒸馏的理解 。
77
88## 知识蒸馏介绍
99
Original file line number Diff line number Diff line change @@ -1759,4 +1759,4 @@ plt.show()
17591759
17601760## 引用资料
17611761
1762-
1762+ - [ MIT 6.5940 TinyML and Efficient Deep Learning Computing ] ( https://hanlab.mit.edu/courses/2023-fall-65940 )
You can’t perform that action at this time.
0 commit comments