Born Again

目录 摘要 引言 相关文献 知识蒸馏 Resnet和DenseNet Born-Again Network 开头 Selves Born-Again Networks集成的学习顺序 Dark Knowledge刨析 对比试验设置 实验结果 CIFAR-100 其他对比就略掉把（太麻烦了，没啥用） 结论 摘要 训练一个和teacher参...

这篇论文不是用作模型压缩的，作者想的是让student超越teacher 其训练方式如下： 实验结果，student超越teacher了：

知识蒸馏，主要是自蒸馏文章调研

模型压缩之蒸馏算法小结 文章目录模型压缩之蒸馏算法小结输出配准Distilling the Knowledge in a Neural Network（NIPS 2014）Deep Mutual Learning（CVPR 2018）Born Again Neural Networks（ICML 2018）直接配准拟合注意力图Paying More Attention to Attention: ...

qt-mvvm是GitHub上一套基于Qt的MVVM开发框架。

作者 | 孟让转载自知乎导语：继《从Hinton开山之作开始，谈知识蒸馏的最新进展》之后，作者对知识蒸馏相关重要进行了更加全面的总结。在上一篇文章中主要介绍了attent...

Introduction to Deep Neural Networks Contents Neural Network DefinitionNeural Network ElementsKey Concepts of Deep Neural NetworksExample: Feedforward Networks & BackpropMultiple Linear Regressi

https://handong1587.github.io/deep_learning/2015/10/09/transfer-learning.html Jump to... Papers One Shot Learning Few-Shot Learning Papers Discriminative Transfer Learning with Tree-based Priors ...

A Beginner’s Guide To Understanding Convolutional Neural NetworksThe Problem Space Image classification is the task of taking an input image and outputting a class (a cat, dog, etc) or a probability

大家好，这是专栏《AI不惑境》的第十一篇文章，讲述知识蒸馏相关的内容。进入到不惑境界，就是向高手迈进的开始了，在这个境界需要自己独立思考。如果说学习是一个从模仿，到追随，到创造的过程，那...

Training Deep Neural Networks in Generations:A More Tolerant Teacher Educates Better Students是CVPR2018的一篇文章，在知识蒸馏方向对于教师模型和学生模型的学习效果进行了进一步的探讨，在阅读本文之前，需要考虑两个问题， (1)为什么教师和学生网络之间的学习会有效？ 注：在知识蒸馏...

你的名字 女票昨天说想看今天的电影， 觉得自己没好好陪过她， 就承诺带她看， 晚上让室友帮忙秒了两张票， 她高兴的睡了 今天本来想打车去， 结果卡点西门堵住了， 打不到， 也没提前做挤公交的准备， 都没带硬币， 然后还是她向一个女生换的硬币， 那一刻， 她好美， 自己也是蠢到家了…没准备好 晚上在中环城碰到四个傻吊， 不出所料， 看了电影， 打车回来， 走了一些路， 停下来

今天AHU16级新面孔参加第一次算法课（ACM扫盲）, 我作为一个老狗， 正在这个实验室里, 思绪怎么都收不住……脚踩实 大学以来， 为了证明自己我走了很多弯路， 也做过很多无谓的争斗， 虽然坚持到现在却发现以前给自己埋了不少坑 ACM: 也就是去年这个时候， 刚进这个实验室， 对未来的挑战充满好奇、急于拿成绩证明自己。 去年省赛作为大一新生队伍出赛-被

flag “对不起啊， 我不知道” “所以我说你情商低啊” “就是觉得很对不起啊， 幸亏我发现了啊， 不然你这样撤退多惨啊” “这不是很正常吗， 安啦， 我出去跑会就好了”。 “嗯， 外面有点凉…” “…, 披件外套就好了” 大概一个月前的线上， flag高挂， 阴吹思婷， 没忘， 说好的好好相处， 她放下了戒心， 我贼心不死 至此， 我有点怀

最近刷题不是很勤，而且感觉自己真的菜的抠脚。 自己确实是个心不坚的人，对ACM真的没有那种对棋者追求至高棋艺、棋意的喜爱， 越发吃力，真的咸鱼。 说多了只能让自己心里开脱，所以不多说：我想成功一次，不执着于成果，但求不再是一条咸鱼，拥有那种对coding如此如醉的心态。 ACMer, 不缺我一个 ，但我缺一个证明自己翻身的机会! --lrl                        

她说她可以熬过所有的苦 一直比较喜欢独立坚强的女生， 她是比较典型的一个， 然而我走不进她的世界， 种种原因 她说目前不需要另一半， 自己熬过所有的苦 信以为真， 事实上若是真得找到一个安稳的肩膀， 她或许也会在那片天空里享受被呵护的感觉， 我还是太年轻了 认为最适合， 其实没走进她心里怎么能有断言 她吸引我的坚强， 内心我看不到， 她还没遇到对的人罢了！It's love! 我懂了 安好！她说，

要打ccpc的现场赛了， 可我还没有完全准备好， 近期事情也有些多， 傻到家了。 前两天和她去新生宿舍区做宣传， 我们单独回来的路上， 我丝毫没有放慢脚步的意思， 而她因为当天走了太多路稍微拉下了。 然后，  她想我抱怨这个， 我当时简直蒙掉。。。。 其实平时线下交流不是很多， 没想到这个机会也没把握住， 太蠢了，哎！ 我在不是那个没心没肺的沙茶了， 这学年， 成长了不少， 然而 没有简单却

似水流年（problem） 送yy去排舞后， 回来的路上， 我似乎看到了那个瘦弱、满汗淋漓， 无脑奔跑的身影， 没有任何目的， 只想证明自己还在跑， 不曾放弃。 我从单纯的无知到现在懂了些人情， 却变得很蠢， 也不复单纯。 自以为很不错， 却发现， 大多数人是不想和蠢人深交的。 我没有会长的那份能力， 让留下的人认同、参与， 甚至交为知己。 我一直想做的和他一样好， 哪怕外人再怎么