Hacker News Digest

Принцип работы Transformer на мини-модели

Автор: Robert Timm
Лицензия: MIT, код и данные — github.com/rti/gptvis

Идея

Показать, как внутри Transformer токены превращаются в предсказания, используя крошечную модель и наглядные визуализации.

Упрощения

• Данные: 94 слова об 4 фруктах и их вкусах.
  Примеры: lemon tastes sour, i like spicy so i like chili.
  Валидация: i like spicy so i like chili (проверка, что связь «spicy-chili» выучена, а не запомнена).
• Токенизация: 19 слов-токенов без BPE.
  Список: is, the, orange, chili, sour, of, taste, apple, sweet, juicy, a, spicy, so, like, tastes, i, lemon, UNKNOWN, PADDING.
• Архитектура: декодер-only, 2 слоя × 2 головы, эмбеддинги 20-D, ≈10 000 параметров, tied embeddings (как у Gemma).

Обучение

10 000 шагов → низкий loss; при подсказке «i like spicy so i like» модель выдаёт «chili».

Визуализация

Каждый 20-D вектор кодируется пятью цветными «коробками» (4 числа на коробку).
Эмбеддинги вкусов (juicy, sour, sweet, spicy) получают уникальные, но похожие формы, что отражает их семантическую близость.