Pg_lake: Postgres with Iceberg and data lake access

Snowflake Labs представили pg_lake — расширение для PostgreSQL, интегрирующее поддержку Apache Iceberg и прямой доступ к data lake. Это решение позволяет использовать привычный SQL-интерфейс Postgres для работы с данными, хранящимися в современных lake-архитектурах. Проект объединяет надежность реляционных баз с гибкостью и масштабируемостью data lakes.

Расширение поддерживает все возможности Iceberg, включая ACID-транзакции, схему эволюции и time travel. Пользователи могут выполнять запросы к данным в S3, ADLS или GCS без необходимости их предварительной загрузки в традиционную СУБД. Код проекта открыт на GitHub и уже привлек внимание сообщества, стремящегося упростить работу с большими данными.

Комментарии (107)

Пользователи обсуждают, что новый инструмент pg_lake от Snowflake позволяет PostgreSQL работать с Iceberg-таблицами, но вызывает вопросы о том, как это влияет на экосистему и какие ограничения имеет решение.
Обсуждается, что DuckDB и DuckLake предоставляют альтернативные подходы, и как они соотносятся с новым инструментом.
Участники обсуждают, что это может быть конкурентом Snowflake, но также отмечают, что это может быть полезно для определенных сценариев использования.
Также обсуждается, что это может быть полезно для тех, кто хочет использовать PostgreSQL в качестве datalake, и как это может повлиять на экосистему.
Некоторые участники выражают обеспокоенность по поводу того, что это может быть слишком сложным для некоторых пользователей, и что это может быть дорогим для использования.