Hacker News Digest

Тег: #resnet

Постов: 2

Who invented deep residual learning? (people.idsia.ch)

Глубокое остаточное обучение с остаточными соединениями было изобретено не в 2015 году с появлением ResNet, а имеет долгую историю, уходящую корнями в 1991 год. Sepp Hochреитер в своей дипломной работе под руководством Jürgen Schmidhuber представил остаточные соединения для рекуррентных нейронных сетей, чтобы решить фундаментальную проблему исчезающих градиентов. Эти соединения с весом 1.0 обеспечивают постоянный поток ошибок в глубоких сетях, позволяя градиентам распространяться на миллионы шагов без затухания.

Эволюция продолжилась с LSTM в 1997 году, ставшей самой цитируемой работой по ИИ 20 века, где остаточные соединения назывались "constant error carrousels". В 1999 году появились управляемые остаточные соединения с forget gates, изначально открытыми (вес 1.0). К 2005 году LSTM была "развернута" из рекуррентной в feedforward архитектуру, что в 2015 году привело к появлению Highway Net и затем ResNet - по сути открытого управляемого Highway Net или развернутого 1997 LSTM.

by timlod • 13 октября 2025 г. в 11:07 • 102 points

Оригинал • HN

#residual-neural-networks#resnet#lstm#deep-learning#neural-networks#machine-learning

Комментарии (33)

  • Стороны обсуждают, кто именно «изобрёл» residual-соединения, и кто должен получить признание за идею, которая в действительности развивалась постепенно и коллективно.
  • Обсуждается, что в ML-исследованиях редко бывает, что идея принадлежит одному человеку, и что «изобретение» часто является результатом множества вкладов, которые со временем приписываются одному человеку.
  • Участники обмениваются мнениями о том, что важнее — первоначальная идея или же ее популяризация и демонстрация ее важности.
  • Также затрагивается вопрос о том, что если идея не была оценена по достоинству в свое время, то это может быть выгодно только тому, кто ее позже популяризирует.

Tiny-tpu: A minimal tensor processing unit (TPU), inspired by Google's TPU (github.com)

tiny-tpu — минималистичный тензорный процессор, вдохновлённый Google TPU v1/v2.
Цель: дать студентам и исследователям открытый, понятный RTL-код для изучения архитектуры TPU без закрытых деталей Google.

Основное

  • Ядро: rtl/, sim/, fpga/ — SystemVerilog, тесты, PYNQ-образ.
  • Производительность: 8×8 систолическая матрица, 32-бит INT, 200 МГц на Artix-7.
  • Поток данных: команды DMA → веса/активации → вычислительный массив → аккумуляторы → DRAM.
  • Инструменты: Verilator, Vivado, Python-библиотека для генерации инструкций.

Быстрый старт

git clone https://github.com/tiny-tpu-v2/tiny-tpu.git
cd tiny-tpu
make sim        # симуляция
make fpga       # битстрим для PYNQ-Z2

Примеры

  • examples/mnist/ — инференс MNIST за 3 мс.
  • examples/resnet/ — слой ResNet-18 (пока симуляция).

Лицензия

MIT.

by admp • 18 августа 2025 г. в 20:34 • 244 points

Оригинал • HN

#systemverilog#fpga#pynq#verilator#vivado#dma#tensor-processing-unit#machine-learning#resnet#mnist

Комментарии (13)

  • Участники мечтают о «3D-принтере для кремниевых чипов», но большинство считает это нано-технологией, недоступной домашнему пользователю.
  • Как промежуточный шаг упоминается TinyTapeout: онлайн-заказ микрочипов по стандартному процессу за сотни долларов.
  • Кто-то спрашивает, сколько TPU нужно для запуска Gemini 2.5 Flash/Pro для одного пользователя и можно ли купить PCIe-карту с 4 TPU и 8 слотами ОЗУ за $5 000.
  • Отдельная ветка хвалит красивую SVG-анимацию на сайте, предполагая, что это слоистые экспорты из Excalidraw.