发布日期：2025-09-01 05:18    点击次数：142

谢赛宁十年前被 NeurIPS（那时还叫 NIPS）拒收的论文www.kaiyun，刚在本年得到了 AISTATS 2025 年度时候窥伺奖。

这篇论文等于《Deeply-Supervised Nets》（DSN，深度监督采集），2014 年 9 月挂上 arXiv。

时候仓卒，十一年昔日，属于是真 · 时候窥伺了。

它建议的中间层监督想想被谢赛宁后续作品 REPA（Representation Alignment）和 U-REPA（U-Net Representation Alignment）等承袭并发展，展示出从单一模子优化到跨模子学问迁徙的演进。

尔后两者在深度学习、扩散模子潜入发展的这两年间，影响颇深。

"恭喜！""当之无愧！"

AISTATS 官宣其获奖的推文底下，业界大佬都聚，一派祝颂之声。

当初，这篇论文被 AISTATS 汲取。

然而在谢赛宁本东谈主的转发推文中，咱们知谈另一重内幕——

这篇论文领先投稿给 NeurIPS。天然拿下 8/8/7 高分，但仍然被该顶会拒却了。

他暗示：

那次鬈曲一直萦绕在我心头，困扰着我……

十一年前，拿到 8/8/7 高分却被拒

补充下配景信息——

《Deeply-Supervised Nets》是谢赛宁攻读博士学位技巧提交的第一篇论文。

他是共吞并作之一，另一位共吞并作是现时的谷歌沟通科学家 Chen-Yu Lee。

该技俩通信作家是清华学友、马尔奖得到者，现 UCSD 的揣摸机科学与工程系讲授屠卓文。他亦然谢赛宁和 Chen-Yu Lee 的博导。

这篇论文建议了 DSN（深度监督采集）方式，旨在处分深度学习中荫藏层特征学习的问题，晋升分类性能。

那时的深度学习照旧启动再次发展，在图像分类和语音识别限制卓有奏效。

不外，它仍然靠近诸多问题，比如荫藏层特征的透明度和判别力镌汰、梯度消散或爆炸导致西宾勤勉、对算法作为零落数学统一、依赖大批西宾数据以及西宾时手动调参复杂等等。

沟通团队基于不雅察发现，在高判别力特征上西宾的分类器性能更好。

通过在采集各荫藏层诈欺特征质地响应，胜利影响权重更新，能让采集更快学习到好的特征，松开梯度问题，且不影响全体采集性能。

于是，团队建议 DSN，通过中间层监督机制处分 CNN（传统卷积神经采集）的三大痛点：

梯度消散

在荫藏层添加提拔分类器（" companion " objective），通过逐层反向传播增强梯度信号。

特征鲁棒性

强制中间层胜利参与最终分类任务，使浅层特征更具判别性（如在 AlexNet 中，第 3 层特征分类准确率晋升 18%）。

西宾效力

实考讲解在 CIFAR-10 数据集上，DSN 使 ResNet-50 的西宾敛迹速率加速 30%，Top-1 准确率晋升 2.1%。

时于当天，该收尾已成为揣摸机视觉限制的经典方式，成为首个在生成式 AI 限制产生跨代影响的监督学习框架。

限度本文推送，这篇论文的谷歌学术被引量跳跃 3000 次。

那，为什么那时的 NeurIPS 莫得汲取这篇论文呢？

能够是评审合计该职责是对传统 CNN 的增量改造而非颠覆性改造，而那时的 NeurIPS 更热心表面自便或新式架构。

总之，天然评审给这篇论文打出了 8/8/7 的高分，但照旧被冷凌弃拒收了。

不撞南墙不回头的进展不单是是"再试一次"

现时，当初汲取 DSN 的 AISTATS，又予以了这个技俩时候窥伺奖以嘉奖。

人所共知，揣摸契机议的时候窥伺奖频频条款论文在获奖的 10 年前发表，高被引是中枢门槛。

而更为进攻的是，时候窥伺奖获奖技俩需被同业评价为草创性职责（seminal work），或表面改造，或有应用价值，成为后续沟通的基础范式。

就像 GAN 启发了生成式模子，Seq2Seq 鼓动机器翻译的发展。

至此，谢赛宁在关连推文中写下，"也许现时我不错终于定心。"

（愿他真的从此定心～）

天然，谢赛宁还绝不惜啬地共享了更多感叹与训戒追念。

"我不会把学术会议比作念大乐透，但不撞南墙不回头确乎能给学术生计带来很大的匡助。"谢赛写对着总共学子们喊话，"同学们：如若你们在看到最近的论文评审收尾后感到无精打彩，又正为下一篇著作作念准备的话，我但愿这（DSN 获时候窥伺奖）能给你们少许小小的辅导，持续前行吧。"

自后他又对我方的感悟进行了补充讲解——

不撞南墙不回头并不单是是说"持续勤劳"或者"再试一次"，它需要一个强大的救助系统和具体的实行带领。

当我参预 UCSD 时，我对沟通一无所知。我的导师屠卓文耐性肠带领咱们，从编程和数学讲解关连的基础学问，到建议我方的沟通观念，再到在台上自如地演讲。

等我我方成为讲授后，才体会到这种进度的带领是何等特别和可贵。

同期，我也有像 Chen-Yu Lee 这么的相助者——咱们发现鬈曲，克服挑战，沿途前进。

"你恒久不应该独自前行。"谢赛宁在临了写谈。

DSN 的共一 Chen-Yu Lee 也很承诺地在� � 上发声。

咱们感到很是自豪！

这篇论文最早（在顶会上）发表于 2015 年。看到这项职责的抓续关连性和影响力，确切令东谈主难以置信。

One More Thing

Anyway，对大多数关连从业者来说，论文被顶会汲取是一种认同，一种荣誉。

但被顶会拒收，并不料味着对这个技俩标全盘狡赖。

不知谈众人还记不记起大明湖畔被 ICLR 2013 拒稿的 Word2vec（后转投 NeurIPS 并获汲取，2023 年获时候窥伺奖），以及被 ICLR 2024 拒稿的 Mamba？

谢赛宁的推文批驳区，也挖掘出了更多的同样故事。

浙大学友、哥伦比亚大学揣摸机科学系副讲授俞舟（zhou Yu）就留言说，她的团队在 2019 年获 ACL 最好论文提名的技俩也在首投时被拒稿。

如若一篇好论文被拒却，它就具有「成为最好的论文」和「被时候窥伺」的后劲，因为它会再次改造。: )

听了赛宁的共享，她暗示，现时有另一个很好的例子不错用来饱读舞低年事的同学们了～

参考通顺：

[ 1 ] https://x.com/sainingxie/status/1919423231687000493

[ 2 ] https://x.com/sainingxie/status/1919022082391671195

[ 3 ] https://arxiv.org/abs/1409.5185

[ 4 ] https://scholar.google.com/citations?user=Y2GtJkAAAAAJ&hl=en

一键三连「点赞」「转发」「留意心」

接待在批驳区留住你的观念！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见www.kaiyun

上一篇：kaiyun体育登录网页入口叶杰平出席 CCF 活动时-kaiyun(欧洲杯)app-kaiyun欧洲杯app(中国)官方网站-登录入口    下一篇：www.kaiyun基本建成四川文艺副中心和国外阳光康养旅游方针地-kaiyun(欧洲杯)app-kaiyun欧洲杯app(中国)官方网站-登录入口