Spiral
Spiral: Data 3.0
Новая эпоха — машины потребляют и выдают данные петабайтами.
Postgres и Lakehouse были рассчитаны на человека: входы и выходы — килобайты.
AI-хранилище должно отдавать 4 млн изображений в секунду, иначе H100 простаивает 70 % времени.
Почему ломается стек
Parquet → Arrow → tensors → кэш → GPU: 5 лишних шагов, 10× память, 55 ч сети на 1 с GPU-нагрузки.
Мелкие файлы (100 КБ) убивают S3, эмбеддинги и картинки застревают в «мертвой зоне» 1 КБ–25 МБ.
Побочные эффекты
- Цена/скорость: инженеры крутят ETL вместо обучения.
- Безопасность: в угони скорости открывают S3 и сливают базы через MCP-коннекторы. Долг превращается в 10× технический долг.
Spiral = хранилище для машин
- Потоковое чтение петабайтов без распаковки.
- Поиск, сэмплы, случайные чтения за миллисекунды.
- Модель доступа «по-умолчанию закрыто» → безопасность не тормозит.
Результат
GPU загружен, инженеры пишут модели, а не пайплайны.