Who invented deep residual learning?
Глубокое остаточное обучение с остаточными соединениями было изобретено не в 2015 году с появлением ResNet, а имеет долгую историю, уходящую корнями в 1991 год. Sepp Hochреитер в своей дипломной работе под руководством Jürgen Schmidhuber представил остаточные соединения для рекуррентных нейронных сетей, чтобы решить фундаментальную проблему исчезающих градиентов. Эти соединения с весом 1.0 обеспечивают постоянный поток ошибок в глубоких сетях, позволяя градиентам распространяться на миллионы шагов без затухания.
Эволюция продолжилась с LSTM в 1997 году, ставшей самой цитируемой работой по ИИ 20 века, где остаточные соединения назывались "constant error carrousels". В 1999 году появились управляемые остаточные соединения с forget gates, изначально открытыми (вес 1.0). К 2005 году LSTM была "развернута" из рекуррентной в feedforward архитектуру, что в 2015 году привело к появлению Highway Net и затем ResNet - по сути открытого управляемого Highway Net или развернутого 1997 LSTM.