Skip to content

Commit 55b79af

Browse files
committed
Update: code link
1 parent 2055ba4 commit 55b79af

File tree

3 files changed

+5
-3
lines changed

3 files changed

+5
-3
lines changed

README.md

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -25,6 +25,8 @@
2525

2626
如果你对 Datawhale 很感兴趣并想要发起一个新的项目,欢迎查看 [Datawhale 贡献指南](https://github.com/datawhalechina/DOPMC#%E4%B8%BA-datawhale-%E5%81%9A%E5%87%BA%E8%B4%A1%E7%8C%AE)
2727

28+
如果对于小模型压缩的原理和基础感兴趣,可以参考Datawhale开源项目[Awesome-Compression](https://github.com/datawhalechina/awesome-compression)
29+
2830
## 贡献者名单
2931

3032
| 姓名 | 职责 | 简介 | 视频 |

docs/chapter2/chapter2_2.md

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -51,7 +51,7 @@ MiniLLM的论文中提出了另一个新颖的视角——逆向KL其实可以
5151
- 和硬损失的交叉熵
5252
- 和软损失的KL散度
5353

54-
在code/BabyLlama/3.distill.ipynb中可以看到它的损失函数
54+
[code/BabyLlama/3.distill.ipynb](https://github.com/datawhalechina/llm-deploy/blob/main/docs/chapter2/code/BabyLlama/3.distill.ipynb)中可以看到它的损失函数
5555
```python
5656
def compute_loss(self, model, inputs, return_outputs=False):
5757
# 硬损失,即和ground truth的交叉熵

docs/chapter2/chapter2_3.md

Lines changed: 2 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -131,7 +131,7 @@ $$
131131
$$
132132

133133
## 1.5 实践
134-
参见code/ICL。
134+
参见[code/ICL](https://github.com/datawhalechina/llm-deploy/blob/main/docs/chapter2/code/ICL/ICL_distill.ipynb)
135135

136136
## 1.6 改进方向
137137
模型上下文学习的性能和上下文中的例子质量紧密相关,所以有人研究专门设计了一个例子检索器,检索高质量的示例[6]
@@ -209,7 +209,7 @@ $$
209209
## 步骤3:实践
210210
正式的微调Loss函数是交叉熵损失。
211211

212-
参见code/CoT.
212+
参见[code/CoT](https://github.com/datawhalechina/llm-deploy/blob/main/docs/chapter2/code/CoT/CoT_distill.ipynb).
213213

214214

215215

0 commit comments

Comments
 (0)