Hacker News Digest

Stanford запускает курс CS234: Reinforcement Learning на зиму 2025 года. Он вводит основы RL для автономных систем, решающих задачи в робототехнике, играх, моделировании потребителей и здравоохранении. Студенты изучат вызовы generalization и exploration через лекции (вт/чт 13:30–14:50, видео на Canvas), письменные и кодинговые задания (Python на Gradescope), проект. Обсуждения на Ed, офис-ауры с первой недели. Инструктор — Emma Brunskill, TA: Chethan Bhateja (head), Aishwarya Mandyam и др.

Требования: Python, исчисление, линейная алгебра, вероятность/статистика, основы ML (CS221/229). Итоги: формулировать RL-проблемы (state/action spaces, dynamics, rewards), реализовывать алгоритмы (Q-Learning, policy search), анализировать по regret, sample/computational complexity, сравнивать exploration vs exploitation. Расписание: с 7 января — intro, tabular MDP, policy evaluation/search, offline RL (imitation, DPO), exploration; задания 1–3 (due 17/24 янв., 7 фев.), midterm 6 фев. Материалы Spring 2024 доступны.