Hacker News Digest

Тег: #bigquery

Постов: 6

Google appears to have deleted its political ad archive for the EU (thebriefing.ie)

Google удалила архив политической рекламы в ЕС, уничтожив данные за семь лет — с 2018 года. Исчезла информация о расходах, таргетинге и сообщениях партий и кандидатов на YouTube, в поиске и дисплейной рекламе во время выборов в 27 странах. Ранее Google анонсировала запрет на политическую рекламу, но о стирании архива не предупреждала.

Теперь доступны только данные по США, Великобритании, Индии и нескольким другим странам, но не по ЕС. Поиск по ключевым словам или партиям (например, Sinn Féin, тратившая до €10 тыс. в день) возвращает ноль результатов. Архив создавался после скандалов вокруг Brexit и выборов Трампа для прозрачности и исторической фиксации кампаний. Его удаление подрывает подотчётность, память и демократические процессы.

by doener • 29 сентября 2025 г. в 07:57 • 205 points

ОригиналHN

#google#political-advertising#eu-regulations#bigquery#data-archiving#data-transparency

Комментарии (99)

  • Пользователи критикуют ожидание, что корпорации (вроде Google) бесплатно и вечно архивируют данные, и подчеркивают личную ответственность за сохранение важной информации.
  • Высказывается предположение, что удаление архива политической рекламы связано с новыми регуляциями ЕС и желанием Google избежать рисков и издержек.
  • Отмечается, что Google заработал на этой рекламе, и его решение удалить архив, когда он стал невыгоден, воспринимается как циничное.
  • Обсуждается роль крупных tech-компаний как де-факто хранителей цифрового пространства и возможная необходимость государственного регулирования их архивной политики.
  • Приводятся технические детали: данные ещё доступны в BigQuery в течение 7 дней, и участники призывают сообщество к их срочному сохранению.

Serverless Horrors (serverlesshorrors.com) 🔥 Горячее 💬 Длинная дискуссия

Сборник коротких серверлес-кошмаров

  • $1189 – Webflow снял за месяц вместо $69.
  • $100 000 – DoS на игровом сайте → счёт за Firebase за сутки.
  • $738 – Vercel Pro + лимит $120 ≠ защита от «сюрприза».
  • $70 000 – Проснулся с таким счётом за Firebase при тарифе $50.
  • $22 640 – BigQuery на публичных данных.
  • $250/мес – 9 тыс. просмотров в Framer.
  • $1274 – AI Devin случайно устроил ддос в PostHog.
  • $530 – Платный PostHog после нулевого периода.
  • $384 – Документация на Mintlify.
  • $103 – AWS Free Tier ловушка.
  • $96 281 – Vercel: «я просто молчу».
  • $120 000 – Cloudflare выключает сайт, требуя деньги за сутки.
  • $1301 – Пустой приватный S3 + ддос.
  • $11 000 – Mailgun во время атаки.
  • $104 500 – Письмо от Netlify «переплата».
  • $23 000 – Спам-атака на EchoFox в Vercel.
  • $3000 – Тестовый деплой в Vercel.
  • $620 – Sitemap.txt сожрал трафик.
  • $72 000 – Тест Firebase + Cloud Run чуть не разорил.

Хочешь поделиться своим счётом-ужасом — пиши в твиттере или PR на GitHub.

by operator-name • 07 сентября 2025 г. в 11:00 • 542 points

ОригиналHN

#serverless#firebase#vercel#bigquery#posthog#aws#cloudflare#s3#mailgun#netlify

Комментарии (406)

  • Пользователи делятся историями о «серверлес-ужасах» — внезапных счетах за десятки и сотни тысяч долларов из-за DDoS, ошибок в конфигурации или забытого ресурса.
  • Критика сосредоточена не на технологии serverless, а на модели оплаты «плати за использование» без жёстких потолков: бюджет — лишь уведомление, а не отключение.
  • Многие считают, что провайдеры могли бы автоматически отключать сервис при превышении лимита, но не делают этого, теряя деньги на «ошибках» новичков.
  • Участники советуют: ставить rate-limit, использовать VPS с фиксированной ценой, поднимать bare-metal или хотя бы включать billing-alerts и «пауz-лимиты» вроде Vercel.
  • Поддержка AWS/GCP/Azure часто прощает счета после публичных твитов, но это выживший эффект: официальной политики нет, и никто не гарантирует прощение.

Show HN: Hacker News em dash user leaderboard pre-ChatGPT (gally.net) 🔥 Горячее 💬 Длинная дискуссия

by tkgally • 30 августа 2025 г. в 03:40 • 324 points

ОригиналHN

#bigquery#llm#macos#ios#ms-word#latex

Комментарии (247)

  • Авторы обсудили лидерборд пользователей HN по количеству «—» в комментариях и быстро перешли к анализу BigQuery-данных, долям и «— на комментарий».
  • Подняли тему, что после 2022 г. всплеск может быть связан с ChatGPT, но сомневаются: автозамены macOS/iOS, MS Word и LaTeX "---" давно делают «—» доступным.
  • Спорили, стоит ли считать «--», «–» или "---", и предлагали дополнительные метрики: рост после релиза LLM, только «\w—\w», «— на символ» и т. д.
  • Некоторые гордились попаданием в список, другие редактируют «—» из текста, опасаясь «охоты на ведьм» за признаками ИИ.

Data engineering and software engineering are converging (clickhouse.com)

Кратко:
Инженеры, создающие realtime-аналитику или AI-функции, нуждаются в инфраструктуре данных с современным developer experience (DX). MooseStack от 514 — open-source DX-слой для ClickHouse.


Слияние дисциплин

Классические хранилища и озёра строились для аналитиков: SQL, BI-дашборды. Теперь же realtime-данные встроены в продукты и AI-функции, а команды разработки обязаны поставлять их так же быстро, как и обычный код.

  • Транзакционные БД (Postgres, MySQL) хороши для разработки, но проваливаются при аналитических нагрузках.
  • Облачные аналитические платформы (Snowflake, BigQuery) удобны для пакетных ETL, но не обеспечивают свежесть данных и sub-second ответов, а DX в них устарел.

UX-разрыв

Пользователи хотят аналитику за миллисекунды. ClickHouse решает задачу: на порядки быстрее Postgres и дешевле Snowflake/Databricks.


DX-разрыв

Разработчики привыкли к локальному циклу «код → тест → CI/CD». В мире данных такого нет: нет локального окружения, медленные итерации, конфликты между data- и software-инженерами.


MooseStack

514 выпустили MooseStack — open-source DX-слой поверх ClickHouse:

  • Git-native, local-first, everything-as-code.
  • Единый язык схем и запросов для всех специалистов.
  • Поддержка CI/CD, preview-окружений, автотестов.

by craneca0 • 29 августа 2025 г. в 18:43 • 80 points

ОригиналHN

#clickhouse#postgresql#mysql#snowflake#bigquery#databricks#terraform#kubernetes#sql#python

Комментарии (50)

  • Сторонники «чистого» инженерного подхода считают, что data engineering изначально был частью software engineering, но позже к нему примешались аналитики, знающие лишь SQL/DBT.
  • В сообществе виден раскол: одни DE пишут Terraform, CI/CD, Spark и k8s, другие ограничиваются ноутбуками, SQL-запросами и no-code-инструментами.
  • Критика Python и SQL как «недостаточно инженерных» языков: динамическая типизация, отсутствие строгих схем и нормального тестирования.
  • Название роли «Data Engineer» стало размытым: HR ищут «писателей SQL», а специалисты просят называть их «Software Engineer, Big Data» или «Platform Engineer».
  • Сильные практики уже давно используют IaC, версионирование, code review и полноценный SDLC, но таких меньшинство.

Google scores six-year Meta cloud deal worth over $10B (cnbc.com)

Google и Meta заключили 6-летний контракт на облачные услуги стоимостью более $10 млрд. Ранее Meta в основном полагалась на AWS и Microsoft Azure, теперь расширяет партнёрство с Google Cloud. Сделка усиливает позиции Google в борьбе за крупных клиентов и отражает общий рост инвестиций в ИИ-инфраструктуру.

by herpderperator • 22 августа 2025 г. в 00:34 • 88 points

ОригиналHN

#google-cloud#meta#aws#microsoft-azure#tpu#bigquery#cloud-run#google

Комментарии (19)

  • Meta тратит $65B+ на собственные дата-центры, но пока они строятся, арендует мощности у Google как у «перестраховки».
  • Сделка может быть просто объединением старых GCP-проектов в единый корпоративный контракт.
  • Google нужен контракт, чтобы остановить отток клиентов и продемонстрировать спрос на свои TPUs.
  • Meta ценит именно уникальные TPU Google, которых нет у AWS/Azure.
  • Спор о «лучшем» облаке: одни считают GCP слабым, кроме BigQuery и Cloud Run, другие ставят GCP выше «ненадёжного» Azure.

When did AI take over Hacker News? (zachperk.com)

Когда ИИ захватил Hacker News?

В августе 2025-го каждая третья история в топ-10 HN про ИИ. Автор решил выяснить, когда это началось и как менялось отношение сообщества. Для анализа взял 24 910 топовых постов с 2019-го по 15 августа 2025-го через BigQuery-датасет HN.

Каждый пост и его комментарии прогнали через GPT-5-mini, чтобы получить:

  • краткое содержание;
  • факт упоминания ИИ;
  • тон (позитив/нейтрал/негатив).

Ключевые выводы

  • Пик хайпа — середина 2025-го; темп сохранится — рекорд.
  • Первый скачок случился не с ChatGPT (Q3 2022), а с выходом GPT-4 (Q1 2023), когда разработчики получили доступ к мощной модели.
  • Единственный заметный всплеск негатива — Q3 2021:
    – Apple анонсировала NeuralHash для сканирования CSAM на устройствах;
    – GitHub Copilot показал, что копирует чужой код.

Итого по 2816 ИИ-постам: 52 % позитив, 31 % негатив, 16 % нейтрал. Последние два квартала чуть негативнее, но тренда пока нет.

by zachperkel • 17 августа 2025 г. в 19:45 • 225 points

ОригиналHN

#llm#hacker-news#gpt-4#github-copilot#bigquery#data-analysis#natural-language-processing

Комментарии (137)

  • На HN обсуждают, что тема ИИ полностью «захватила» ленту: до 9 из 10 топ-постов бывают про ИИ.
  • Пользователи жалуются на навязчивость темы и хотят фильтров/игнора, чтобы скрывать ИИ-новости и комментарии.
  • Некоторые сравнивают нынешний бум с криптой, NFT и Web3, которые тоже пиковали, а потом исчезли с главной.
  • Отмечают, что даже в не-ИИ статьях комментарии сводятся к ИИ; критика тут же минусуется.
  • Сомнения в адекватности оценки тональности: автор анализа использовал ChatGPT, который может завышать «позитив».