RustGPT: A pure-Rust transformer LLM built from scratch

RustGPT

Трансформерная языковая модель, полностью написанная на Rust.

Комментарии (170)

Проект представляет собой реализацию LLM (языковой модели) на Rust "с нуля" как учебный эксперимент для понимания принципов работы.
Отмечается читаемость и лаконичность кода по сравнению с большими фреймворками вроде PyTorch/TensorFlow.
Обсуждаются технические детали реализации: использование констант из lib.rs, структура трансформерных блоков, применение крейтов ndarray, rand.
Поднимаются вопросы о данных для обучения: источник, объём (в проекте используется небольшой встроенный набор), возможности для непрерывного обучения.
Упоминаются проблемы и сложности: отладка backpropagation, отсутствие GPU-ускорения, потенциальная неэффективность реализации.
Высказываются мнения о экосистеме: преимущества cargo над "dependency hell" в Python, но и риски лёгкого включения зависимостей.
Обсуждаются возможные улучшения: добавление численного тестирования градиентов, лицензии, GPU-акселерация, бенчмарки.
Проект сравнивают с другими аналогичными реализациями на Rust и Zig, а также с кодом, сгенерированным ИИ.
Отмечается впечатляющая скорость генерации первого токена и простота запуска (cargo run).