Hacker News Digest

03 сентября 2025 г. в 15:20 • galileo-unbound.blog • ⭐ 116 • 💬 16

OriginalHN

#mathematics#statistics#machine-learning#random-walks#dimensionality#gradient-descent#stochastic-gradient-descent#hamiltonian-monte-carlo#curse-of-dimensionality

A Random Walk in 10 Dimensions (2021)

Случайное блуждание в 10 измерениях

Представьте точку, скачущую в 10-мерном пространстве: каждый шаг — равновероятный сдвиг по любой из координат. В одномерном случае расстояние от начала растёт как √n, где n — число шагов. В d измерениях это правило превращается в √(n·d): «объём» доступного пространства растёт, но каждая координата всё ещё дрожит независимо.

Интуиция подсказывает, что в 10D точка должна «улететь» далеко, однако симуляция показывает иное: медианное расстояние после 1000 шагов — всего ≈10 единиц. Почему? Плотность вероятности в высоких размерностях концентрируется в тонкой оболочке гиперсферы; случайные векторы почти ортогональны, и их длины редко бывают экстремальными.

Этот эффект лежит в основе многих задач: от статистической механики до машинного обучения, где «проклятие размерности» заставляет методы искать структуру в разреженных данных.