Hacker News Digest

Разработан новый формат файлов GOB (Geo-Object Bundle) для OpenStreetMap, который на 30% компактнее PBF и импортируется в 5 раз быстрее. Планетарный набор данных в формате GOB занимает всего 46 ГБ против 65.4 ГБ в PBF, а загрузка всей планеты в память занимает всего 3 минуты на современных системах. Формат использует тайловую структуру, что позволяет легко извлекать региональные подмножества практически со скоростью копирования файлов.

Для работы с GOB требуется GOL Tool 2.1, поддерживающий команды save и load. Формат не хранит метаданные и историю изменений, поэтому предназначен для архивирования и распространения, а не для редактирования. Уже доступны полные данные планеты в формате GOB (<50 ГБ, обновляются ежедневно). В будущем разработчики планируют экспериментировать с другими алгоритмами сжатия и добавлять функцию загрузки GOB напрямую из URL.

• Обсуждение в основном крутится вокруг нового формата GOB, который пока не имеет полной спецификации и не поддерживается libosmium и GDAL, что ограничивает его практическое применение.
• Участники также обсуждают проблемы с производительностью при работе с большими наборами пространственных данных, включая LIDAR, и обсуждают, какие инструменты и форматы (включая PostGIS и GeoJSON) могут быть использованы для улучшения производительности.
• Также поднимается вопрос о том, что отсутствие поддержки в libosmium и GDAL может ограничить распространение формата, и обсуждаются преимущества и недостатки различных форматов и инструментов.

GeoUtil.com — это универсальный онлайн-инструмент для работы с географическими данными, картами и координатами. Платформа предлагает профессиональные инструменты для ГИС-специалистов, разработчиков и энтузиастов географии, работающие полностью в браузере без загрузки данных на серверы. Все сервисы бесплатны, не требуют регистрации и обеспечивают мгновенную обработку информации локально. Поддерживаются открытые стандарты: GeoJSON, TopoJSON, Shapefile, KML, WKT и CSV.

Сайт включает измерительные инструменты для расчёта расстояний (включая большие круговые маршруты), площадей сферических регионов, азимута между точками и статистики GeoJSON. Также доступны конвертеры между форматами (например, TopoJSON сокращает файлы на 80% и более), утилиты для сжатия, объединения и разделения геоданных. Интерфейс поддерживает множество языков, включая русский, и обеспечивает визуализацию расстояний на интерактивной 3D-глобусе с учётом кривизны Земли.

• GeoUtil.com предлагает бесплатный браузерный набор инструментов для работы с геоданными без регистрации и с клиентской обработкой.
• Пользователи спрашивают о будущих планах, возможном опенсорсинге и создании библиотеки.
• Создатель отмечает, что используются open-source библиотеки, такие как turf.js, и что GeoUtil.com уже предоставляет инструменты для разработчиков.
• Обсуждение затрагивает вопросы лицензий, использования кода и вклада в open-source сообщество.

Представлен новый однопроцессорный аналитический движок базы данных, где геопространственные данные являются ключевым элементом архитектуры. Он оптимизирован для работы с геометрическими объектами и растрами, поддерживая стандартные пространственные операции, такие как объединения, кластеризация и анализ расстояний. Движок интегрируется с популярными форматами данных, включая GeoJSON, Shapefiles и GeoParquet, что упрощает обработку сложных геоданных без необходимости распределённых систем.

Особенность подхода — высокая производительность на одном узле благодаря специализированным индексам и алгоритмам, что снижает порог входа для проектов, требующих пространственного анализа. Это делает решение практичным для сценариев, где распределённые кластеры избыточны, но нужна эффективная работа с картографическими данными и геоаналитикой.

• Подчеркивается необходимость SedonaDB для больших геопространственных рабочих нагрузок, где традиционные решения (DuckDB, PostGIS) не подходят, особенно из-за поддержки CRS и производительности.
• Высказываются сомнения в целесообразности нового инструмента, так как PostGIS и DuckDB с их расширениями покрывают потребности большинства пользователей.
• Отмечаются ключевые преимущества SedonaDB: высокая производительность при работе с данными не из БД (например, GeoParquet), поддержка дополнительных CRS и отсутствие зависимости от работающего сервиса.
• Обсуждаются технические особенности: реализация на Rust для производительности, интеграция с экосистемой Apache Arrow (DataFusion) и поддержка нескольких языков программирования.
• Упоминаются текущие ограничения других инструментов: "сырые" края пространственного расширения DuckDB и блокировка развития GeoPolars из-за отсутствия поддержки типов расширений Arrow в Polars.