Knowledge Distillation 知识蒸馏 之 Hint layer & self-knowledge distillation
Hint layer是《FitNets: Hints for Thin Deep Nets》提出的一个概念Hint定义是：teacher的隐含层输出，用来引导student的学习过程。类似的又从student中选择一个隐含层叫做guided layer，我们希望guided layer能预测出与hint layer相近的输出。...
·
Hint layer
Hint layer是《FitNets: Hints for Thin Deep Nets》提出的一个概念
Hint定义是：teacher的隐含层输出，用来引导student的学习过程。类似的又从student中选择一个隐含层叫做guided layer，我们希望guided layer能预测出与hint layer相近的输出。
self-knowledge distillation
t-1时刻的student model作为t时刻student的teacher
一站式 AI 云服务平台
更多推荐
1
0- 0
已为社区贡献14条内容
所有评论(0)