Hacker News Digest

Разработан новый формат файлов GOB (Geo-Object Bundle) для OpenStreetMap, который на 30% компактнее PBF и импортируется в 5 раз быстрее. Планетарный набор данных в формате GOB занимает всего 46 ГБ против 65.4 ГБ в PBF, а загрузка всей планеты в память занимает всего 3 минуты на современных системах. Формат использует тайловую структуру, что позволяет легко извлекать региональные подмножества практически со скоростью копирования файлов.

Для работы с GOB требуется GOL Tool 2.1, поддерживающий команды save и load. Формат не хранит метаданные и историю изменений, поэтому предназначен для архивирования и распространения, а не для редактирования. Уже доступны полные данные планеты в формате GOB (<50 ГБ, обновляются ежедневно). В будущем разработчики планируют экспериментировать с другими алгоритмами сжатия и добавлять функцию загрузки GOB напрямую из URL.

• Обсуждение в основном крутится вокруг нового формата GOB, который пока не имеет полной спецификации и не поддерживается libosmium и GDAL, что ограничивает его практическое применение.
• Участники также обсуждают проблемы с производительностью при работе с большими наборами пространственных данных, включая LIDAR, и обсуждают, какие инструменты и форматы (включая PostGIS и GeoJSON) могут быть использованы для улучшения производительности.
• Также поднимается вопрос о том, что отсутствие поддержки в libosmium и GDAL может ограничить распространение формата, и обсуждаются преимущества и недостатки различных форматов и инструментов.

Представлен новый однопроцессорный аналитический движок базы данных, где геопространственные данные являются ключевым элементом архитектуры. Он оптимизирован для работы с геометрическими объектами и растрами, поддерживая стандартные пространственные операции, такие как объединения, кластеризация и анализ расстояний. Движок интегрируется с популярными форматами данных, включая GeoJSON, Shapefiles и GeoParquet, что упрощает обработку сложных геоданных без необходимости распределённых систем.

Особенность подхода — высокая производительность на одном узле благодаря специализированным индексам и алгоритмам, что снижает порог входа для проектов, требующих пространственного анализа. Это делает решение практичным для сценариев, где распределённые кластеры избыточны, но нужна эффективная работа с картографическими данными и геоаналитикой.

• Подчеркивается необходимость SedonaDB для больших геопространственных рабочих нагрузок, где традиционные решения (DuckDB, PostGIS) не подходят, особенно из-за поддержки CRS и производительности.
• Высказываются сомнения в целесообразности нового инструмента, так как PostGIS и DuckDB с их расширениями покрывают потребности большинства пользователей.
• Отмечаются ключевые преимущества SedonaDB: высокая производительность при работе с данными не из БД (например, GeoParquet), поддержка дополнительных CRS и отсутствие зависимости от работающего сервиса.
• Обсуждаются технические особенности: реализация на Rust для производительности, интеграция с экосистемой Apache Arrow (DataFusion) и поддержка нескольких языков программирования.
• Упоминаются текущие ограничения других инструментов: "сырые" края пространственного расширения DuckDB и блокировка развития GeoPolars из-за отсутствия поддержки типов расширений Arrow в Polars.

QGIS — бесплатная, открытая кроссплатформенная ГИС (Linux, Windows, macOS).

• QGIS хвалят как мощный, бесплатный и расширяемый заменитель ArcGIS: открывает мульти-ГБ TIFF, живёт на Linux, ставится из Conda.
• Пользователи черпают открытые данные (лидар, зоны затопления, границы участков), строят NDVI-карты ферм, анализируют PostGIS и визуализируют harvest-данные.
• Слабые стороны: «90-х» UI, крутая кривая обучения, медленный старт, нет нативной ARM/нотаризованной сборки под macOS (ждут v4).
• Экосистема шире: GDAL, PostGIS, Geoserver, Kepler/MapLibre, LizMap, MapStore и др.; QGIS лишь «интегратор» всех этих инструментов.
• В корпоративе ArcGIS всё ещё царит (40-50 % рынка, удобные группы/роли), но многие компании переходят на QGIS ради экономии и гибкости.