昨晚，「時間循環神經網路之父」Jürgen Schmidhuber在推特上親自發文，稱目前引用數最高的5項神經網路工作都基於他的團隊成果，一時引起了網友的廣泛討論。這並不是他首次發聲，Jürgen Schmidhuber近兩年來發表無數文章和言論，每次提及幾項他過去的研究，表示是他首創，並抱怨學界不承認他對AI領域的貢獻。
Jürgen 稱，人工神經網路（neural networks，簡稱「NN」）與深度學習是現代人工智慧的兩大主題，而現今最受歡迎的五大神經網路，都是基於他在慕尼黑工業大學和IDSIA實驗室的研究團隊所取得的成果，這五大神經網路就包括：
1）LSTM（Long Short-Term Memory，長短期記憶人工神經網路），是20世紀被引用最多的神經網路；當然這項工作已經被公認是他的首創，Yann LeCun也在自傳中提及了這一點；
2）ResNet，21世紀被引用最多的神經網路，Jürgen認為是他們早期提出的高速網路（Highway Net，第一個真正有效的深度前饋神經網路）的門控版本；
3）AlexNet與VGG Net，21世紀引用數排第二與第三的神經網路，Jürgen稱這兩個網路都是基於他們早期提出的DanNet（第一個在圖像辨識競賽中取勝的深度卷積神經網路）；
4）GAN（Generative Adversarial Networks，生成對抗網路），基於他早期提出的「對抗性人工好奇心」（Adversarial Artificial Curiosity）；
5）Transformer的變體，Jürgen認為，線性Transformer的形式與他早期所提出的Fast Weight Programmers一樣。許多工作是從他們在1990年至1991年間提出的Annus Mirabilis開始的，當時的運算代價比現在要貴一百萬倍。
回顧神經網路的發展歷程，Jürgen所提出的五大工作都在現代人工智慧領域的研究中發揮了重要作用。比如，LSTM被廣泛應用於醫療健康、學習機器人、遊戲、語音處理與機器翻譯等研究方向。
在他所發表的部落格文章中，Jürgen本人特地談到，何愷明等人在2015年所提出的ResNet（殘差網路）借鑒了他們在2015年5月發表的Highway Net。他指出，Highway Net是第一個具有100層以上的前饋神經網路（以前的神經網絡最多只有幾十層），而ResNet的本質其實是「開放的」 Highway Nets。Highway Net展示了具有跳躍式傳遞（skip connection）的深度神經網路是如何工作的，且在ImageNet上的表現與ResNet大致相同。但美國專利商標局在2001年，就將這項發明的專利授予了NNAISENSE。
值得注意的是，20世紀與21世紀被引用最高的神經網路（LSTM與ResNet）是緊密相連的，因為Highway Net實際上是Jürgen團隊所提出的循環LSTM的前饋神經網路版本。深度學習主要是聚焦於神經網路的深度。LSTM打破了監督循環神經網路的深度侷限性，而Highway Nets將其引到了前饋神經網路。
在Jürgen所寫的文章中，他感慨，這些工作為谷歌、Facebook、微軟等大企業做出了巨大貢獻，頗有點「為他人做嫁衣」的唏噓：何愷明是在MSRA期間發表的ResNet，後來他加入了Facebook；而AlexNet與VGG Net的大多作者去了谷歌，谷歌在2017年發表了Transformer，都與他在1991年發表的線性Transformer相關，然後谷歌還收購了他實驗室裡一位學生參與聯合創立的DeepMind；而DanNet的二作、GAN的一作去了蘋果公司。
「上述這些公司都廣泛使用了我的LSTM。」
或許是抱怨過於頻繁，Jürgen Schmidhuber形象早已瀕臨崩塌邊緣。
廣大看戲群眾亦不耐煩，在推特和reddit上紛紛對Jürgen Schmidhuber開啓了嘲諷模式，一句「他的自負大於他的引用次數」可謂精闢。
在Reddit上，一位網友中肯地評價道，不可否認，他做了真正開創性的工作，並幫助開創了深度學習，但這篇文章看起來像一個孩子在大喊，「看我，我是最棒的！」
本文為雷鋒網授權刊登，原文標題為「LSTM之父：吐槽了兩年，來划划重點：「這5篇最高引論文都源於我們。」」