2025年1月16日 · 提出了一种基于离散WD的Logit蒸馏方法（WKD-L），可以通过教师和学生预测概率之间的跨类别比较，利用类别间丰富的相互关系，克服KL-Div无法进行类别间比较的缺点。 将连续WD引入中间层进行Feature蒸馏（WKD-F），可以有效地利用高斯分布的Riemann空间几何结构，优于无法感知几何结构的KL-Div。 在图像分类和目标检测任务中，WKD-L优于非常强的基于KL-Div的Logit蒸馏方法，而WKD-F在特征蒸馏中优于KL-Div的对比方法和最先进的方法。 …

2024年12月11日 · Comprehensive evaluations on image classification and object detection have shown (1) for logit distillation WKD-L outperforms very strong KL-Div variants; (2) for feature distillation WKD-F is superior to the KL-Div counterparts and state-of-the-art competitors.

2025年1月16日 · 研究人员在ImageNet和CIFAR-100上评估了WKD在图像分类任务中的表现，还评估了WKD在自蒸馏（Self-KD）中的有效，并且将WKD扩展到目标检测，并在MS-COCO上进行了实验。

WKD is a sparkling alcoholic mix (4% ABV) of fruit flavours and comes in 275mls, 700mls and a range of variants: WKD Blue, WKD Iron Brew, WKD Purple Grape, WKD Orange & Passionfruit, WKD Ice and WKD Berry Blast and offer a great tasting, refreshing fruity drink!

We present a discrete WD based logit distillation method (WKD-L). It can leverage rich interrelations among classes via cross-category comparisons between predicted probabilities of the teacher and student, overcoming the downside of category-to-category KL divergence.

提出了一种基于离散WD的Logit蒸馏方法（WKD-L），可以通过教师和学生预测概率之间的跨类别比较，利用类别间丰富的相互关系，克服KL-Div无法进行类别间比较的缺点。 将连续WD引入中间层进行Feature蒸馏（WKD-F），可以有效地利用高斯分布的Riemann空间几何结构，优于无法感知几何结构的KL-Div。...

2024年6月10日 · “WKD”作为一个英文缩写，对应的是"Wilson Knock Down"，这个短语在体育相关的情境中使用较多，特别是在描述某个比赛或事件中，威尔逊遭遇了重击。 其在英语中的流行度反映了它在特定领域的常见度，而分类为Sports表明其在体育术语中的角色。

2024年11月14日 · call wkd. archive.org Member. Share. Favorite. Uploads Loans Lists Posts Reviews Collections Web Archives Filters. 109 Results Filters. Change to ascending sort. Sort by: Toggle options Date added. All-time views Weekly views Title Date published Date archived ...

We propose a novel methodology of Wasserstein distance based knowledge distillation (WKD), extending beyond the classical Kullback-Leibler divergece based one pioneered by Hinton et al. Specifically, We present a discrete WD based logit distillation method (WKD-L).