Hacker News Digest

Автор сократил свои расходы на облачные услуги в 10 раз, переведя все проекты с AWS на самостоятельное хостинг, при этом улучшив производительность в 2 раза. Его месячный счет AWS снизился с $1,400 до менее $120, а инфраструктура стала мощнее. Автор утверждает, что страх перед управлением серверами обходится компаниям в 10 раз дороже, чем необходимо.

Многие разработчики в индустрии облаков заинтересованы в сохранении компаний на облачных платформах, так как их зарплаты зависят от сложности инфраструктуры. Облачные инженеры и DevOps специалисты не чувствуют финансовой боли от переплат, так как тратят чужие деньги, и заинтересованы в поддержании vendor lock-in.

Перейдя на Hetzner, автор получил доступ к серверам с 80 ядрами менее чем за $190 в месяц, в то время как аналогичные экземпляры в AWS стоят $2,500-$3,500 (в 13-18 раз дороже). Даже с резервированием экземпляров AWS остается в 7 раз дороже. Для небольших проектов доступны VPS с 8 ядрами и 32 ГБ ОЗУ за $50 в месяц.

• Обсуждение в основном свелось к тому, что для большинства проектов хостинг в облаке (AWS, GCP, Azure) в 2024 году оказывается дороже, чем аренда bare-metal в Hetzner/OVH, и что это не всегда оправдано.
• Участники споров подчеркнули, что «облако» всё ещё полезно для MVP, стартапов и сценариев с непредсказуемым трафиком, но при этом критикуют его стоимость для устойчивых рабочих нагрузок.
• Несколько человек упомянули, что большие компании могут позволить себе облако, потому что у них есть команды и бюджет на инфраструктуру и DevOps, тогда как мелкий бизнес и индивидуальные разработчики вынуждены искать более дешёвые решения.
• Также было отмечено, что важно различать «облако» как способ разработки (CI/CD, managed services) и как способ хостинга (IaaS), и что первое может быть дешевле, чем второе.

• Сбой Azure начался в 15:45 UTC 29 октября 2025 года с проблемами Azure Front Door, повлиявшими на доступ к порталу, CDN (azureedge.net) и множеству зависимых сервисов.
• Microsoft признала проблемы с Front Door и DNS, но её статус-страница долгое время показывала "всё в порядке", что вызвало критику пользователей.
• Инцидент затронул широкий спектр сервисов: от Starbucks и GrubHub до систем голосования в Нидерландах, банков и внутренних систем компаний.
• Обсуждение подчеркнуло риски зависимости от крупных облачных провайдеров и вызвало интерес к альтернативам (Hetzner, Cloudflare Workers, локальные решения).
• Пользователи иронично отметили парадокс: чем сильнее сбой, тем важнее кажется провайдер, и предложили "месяц осознанности доступности облака".

За 8 месяцев работы над RAG-системами для обработки 13+ миллионов документов автор выявил ключевые факторы успеха. Начав с типового стека Langchain + Llamaindex по туториалам, команда столкнулась с тем, что прототип на 100 документах показывал отличные результаты, а на полном наборе данных - провальные. Основные улучшения, давшие наибольший эффект: генерация множества семантических и ключевых запросов параллельно с исходным, реранкинг (оптимальное соотношение 50:15 чанков), тщательная настройка чанкинга с сохранением логических единиц, добавление метаданных в контекст LLM и маршрутизация запросов, не требующих поиска по базе.

Технологический эволюция включала переход от Azure к Pinecone, а затем Turbopuffer для векторного хранилища, от Cohere к Zerank для реранкинга, и от GPT-4.1 к GPT-5 и обратно. Автор подчеркивает, что реранкинг - "самые ценные 5 строк кода", а на чанкинг уходит большая часть времени. Весь опыт был упакован в open-source проект agentset под лицензией MIT.

• Обсуждение охватывает широкий спектр тем: от генерации синтетических запросов и проблем с их качеством до самостоятельного хостинга, отсутствия настоящего самостоятельного хостинга и до влияния выбора модели эмбеддинга на качество и стоимость.
• Участники обмениваются практическими советами по оптимизации чанкинга, реранкинга и использованию различных моделей эмбеддинга и ранжирования.
• Обсуждаются сложности с интеграцией и стоимостью при использовании сторонних сервисов, а также вопросы безопасности и контроля при использовании облачных сервисов.
• Рассматриваются вопросы о том, какие факторы действительно важны при выборе инструментов и подходов, и какие из них являются просто маркетинговыми фишками.

Microsoft планирует постепенно заменить графические процессоры AMD и Nvidia, используемые в своих AI-сервисах, на собственные чипы Maia. Это часть стратегии по снижению зависимости от внешних поставщиков и сокращению затрат на инфраструктуру для машинного обучения. Компания уже тестирует свои чипы в дата-центрах и планирует масштабировать их использование в Azure и других cloud-сервисах.

Переход на собственные решения может значительно сократить расходы на hardware и дать Microsoft больше контроля над производительностью и энергоэффективностью систем. Это также усилит конкуренцию на рынке AI-чипов, где доминируют Nvidia и AMD.

• Microsoft разрабатывает собственные AI-чипы (например, Maia 100) для снижения зависимости от NVIDIA и затрат, хотя и с опозданием по сравнению с Google и Amazon.
• Участники обсуждают, что создание собственного "кремния" — логичный шаг для крупных дата-центров, но для успеха критически важны разработка ПО и инфраструктуры (как у CUDA от NVIDIA).
• Высказываются опасения, что уход крупных игроков на собственные чипы может усилить монополию NVIDIA на рынке для остальных или, наоборот, снизить цены на GPU.
• Поднимается вопрос, является ли производственная мощность (например, TSMC) основным ограничением, а не дизайном чипов.
• Обсуждаются альтернативные архитектуры для AI, включая аналоговые чипы и специализированные решения для inference.

• Компании ищут инженеров для работы с AI/ML, включая роли Senior Machine Learning Engineer, ML Scientist и разработчиков для создания AI-инструментов в различных областях, таких как биология, недвижимость и безопасность.
• Предлагаются позиции в software development, включая Full Stack, Backend, Frontend и MLOps инженеров, с использованием технологий Python, Kotlin, TypeScript, Rust и других, для удаленной, гибридной или офисной работы.
• Есть вакансии в сфере облачных технологий и инфраструктуры, такие как Cloud Engineer, SRE и DevOps, с фокусом на AWS, GCP, Azure и управление масштабируемыми системами.
• Несколько ролей связаны с разработкой в нишевых областях: квантовые вычисления, 3D-моделирование, финансовые технологии (алготрейдинг), видеоигры и управление цепочками поставок.
• Предложения включают позиции разного уровня, от начинающих до ведущих инженеров и архитекторов, с вариантами визовой поддержки, релокации и конкурентными зарплатами в диапазоне от $120k до $240k+ в зависимости от опыта и локации.

В PostgreSQL 18 появилась поддержка асинхронного ввода-вывода (AIO), что позволяет эффективнее использовать хранилище. Основные параметры для настройки — io_method и io_workers. По умолчанию io_method = worker использует пул процессов для выполнения операций ввода-вывода, что обеспечивает кроссплатформенность и стабильность. Альтернатива io_uring эффективнее, но работает только на Linux и может быть недоступна в некоторых контейнерах из-за проблем безопасности.

Значение io_workers = 3 слишком консервативно для серверов с большим количеством ядер. Рекомендуется увеличивать его пропорционально числу CPU, особенно для интенсивных рабочих нагрузок. Например, на системе с 64 ядрами можно установить 16–32 воркеров. Важно тестировать настройки под конкретную нагрузку, так как универсального решения нет.

• Ожидание тестирования новой функции async I/O на базах данных в Azure с использованием ZFS для повышения производительности последовательного сканирования.
• Обсуждение выбора метода worker по умолчанию вместо io_uring из-за его универсальности и проблем безопасности с io_uring в некоторых средах.
• Вопрос о причинах более низкой производительности io_uring в сравнении с worker в некоторых бенчмарках и является ли это ошибкой или ограничением технологии.
• Дебаты о целесообразности использования CoW-файловых систем (например, ZFS, btrfs) для Postgres и сжатия на уровне ФС против встроенного сжатия СУБД.
• Уточнение, что новая функция async I/O сейчас применяется только для последовательных и bitmap-сканирований, но не для индексных.

Microsoft ограничила использование своих технологий израильскими силовиками для массовой слежки за палестинцами. Решение последовало после расследования, выявившего, что израильский спецподразделение Unit 8200 применяло облачные сервисы компании для анализа миллионов ежедневных телефонных звонков гражданских в Газе и на Западном берегу. Система автоматически идентифицировала подозрительные разговоры и передавала данные военным для дальнейших действий.

Этот шаг отражает растущее давление на tech-гигантов с целью предотвращения злоупотреблений их инструментами в конфликтных зонах. Microsoft подчеркнула, что её продукты не должны использоваться для нарушений прав человека. Практический вывод: даже передовые технологии требуют жёстких этических рамок, особенно при работе с уязвимыми группами населения.

• Microsoft прекратила предоставлять облачные услуги Azure израильскому военному подразделению Unit 8200 из-за нарушения условий использования, связанного с хранением данных массовой слежки.
• Участники обсуждают потенциально катастрофические последствия полного отключения Microsoft всех сервисов для Израиля, включая критическую инфраструктуру.
• Высказываются опасения по поводу авторитарной власти корпораций, которые могут в одностороннем порядке лишать доступа к услугам, и призывы к регулированию провайдеров как операторов связи общего пользования.
• Мнения разделились: одни считают решение Microsoft запоздалым PR-ходом на фоне обвинений в геноциде, другие — позитивным шагом под давлением сотрудников и общественности.
• Поднимается вопрос о том, куда переместятся данные (вероятно, к другим провайдерам, таким как AWS или Oracle), и о влиянии этого на точность операций и количество жертв среди мирного населения.

Разработчик заметил постепенное ухудшение качества ответов языковых моделей Azure AI при использовании одинаковых промптов и тестовых диалогов с температурой 0 для воспроизводимости. После выхода GPT-5 точность GPT-4o-mini резко снизилась, а новые версии, такие как GPT-5-mini, оказались медленнее — ответы иногда генерируются до 20 секунд — и столь же неточными.

Подозревается, что Microsoft намеренно ухудшает старые модели, чтобы стимулировать переход на новые, хотя те не демонстрируют улучшений. Это ставит под угрозу проекты, требующие точности и стабильности, и вынуждает команду рассматривать альтернативы Azure.

• Участники обсуждают возможное скрытое ухудшение качества языковых моделей (LLM) со временем, в том числе из-за квантования и изменения системных промптов.
• Высказывается предположение, что восприятие ухудшения может быть связано с завышенными первоначальными ожиданиями и недетерминированным характером работы LLM.
• Отмечается отсутствие конкретных данных и примеров в исходном сообщении, что затрудняет объективную оценку claims.
• Подчеркивается важность фиксации версий моделей и проведения периодических бенчмарков для отслеживания изменений.
• Обсуждаются технические аспекты тестирования, такие как использование temperature=0 и детерминированность выводов.

Сводка Azure

• Инцидент: 06.09.25, 05:45 UTC – повреждены подводные кабели в Красном море; трафик Европа ↔ Азия идёт обходными путями, задержки выше нормы.
• Статус: команды перенаправляют нагрузку, ремонт займёт время; обновления ежедневно.
• Регионы: задержки возможны во всех европейских, азиатских и ближневосточных зонах; сервисы помечены «Information».
• Действие: следите за Azure Service Health в портале, настройте оповещения.

• 6 сентября 2025 г. около 05:45 UTC несколько подводных кабелей в Красном море оборвались, и трафик Европа ↔ Азия пошёл обходными путями с ростом задержки.
• Пока неясно, случайность это (рейд якорей) или умысел; официальных выводов нет.
• Кабели чинят: спецсудно крюком поднимает концы на борт, вырезает повреждённый участок и сваривает новый отрезок, после чего кабель опускают обратно.
• Процесс сложен: современные кабели натянуты без излишков, поэтому часто приходится предварительно разрезать их на дне.
• Подобные обрывы в Красном море и у Сингапура случаются регулярно — чаще всего виноваты якоря судов.

Rug-pull и вилки: кто кого в OSS

• В облаке всё решают гиганты (AWS, GCP, Azure); разработчики и пользователи — без прав.
• Компания-владелец проекта может «рвануть коврик»: сменить лицензию на закрытую, чтобы загнать облачных конкурентов.
• Пример: Elastic → SSPL, MongoDB → SSPL, Sentry → новая лицензия.
• Ответ — вилка (fork), но она требует людей и денег; без спонсора умирает.
• AWS форкнул Elasticsearch → OpenSearch: набрал контрибьюторов с нуля, теперь живёт.
• Puppet ушёл в Perforce и закрыл код → родилась OpenVox.
• Вывод: однокомпаночные проекты рискованны; выбирайте те, где власть распределена, или сразу готовьтесь вилковать.

• CLA = право перелицензировать → «rug pull» возможен; DCO такого не даёт.
• Elasticsearch, Redis, Mongo и др. перелицензировались не от банкротства, а чтобы ограничить конкурентов и поднять доход.
• Пользователи чувствуют «предательство»: проект начинали под FOSS-лицензией, привлекли вклад и клиентов, потом закрыли код.
• Форки (OpenSearch, Valkey) спасают, но требуют новой инфраструктуры и сообщества; большинство просто делают «снапшот» и уходят.
• Проблема устойчивости: без денег проект умрёт, но нынешняя модель дарения дарит прибыль крупным облакам, а не разработчикам.

Ключевые моменты интервью со Стивом Баллмером

• 34 года в Microsoft: Баллмер прошёл путь от первого бизнес-менеджера до CEO, начиная с сделки IBM DOS.
• Корпоративный бизнес: сам построил направление, превратив его в опору компании.
• Провалы: открыто говорит о том, как упустили мобильные и поиск.
• «Разработчики, разработчики, разработчики»: рассказал историю легендарного лозунга.
• Отношения с Гейтсом: был год, когда они не разговаривали; объяснил, почему ушёл с поста CEO.
• Акции Microsoft: не продал ни одной — капитал вырос с $20 млрд до $130 млрд за 10 лет после ухода.
• LA Clippers и Intuit Dome: поделился планами и энтузиазмом владельца клуба.

Энергия Баллмера — на максимуме: слушайте, чтобы почувствовать «фирменный» стиль.

• Ключевой упрек Баллмеру — застревание в «окнах» и нежелание отпустить Windows-монополию; Наделла же открыл Linux, open-source и вывел Azure на новый уровень.
• Многие удивились, насколько ранним и важным был вклад Баллмера в Azure, а также напряжённости в его отношениях с Гейтсом.
• Некоторые считают Баллмера недооценённым: он знал, кого держать, спас Xbox и построил сверхприбыльный enterprise-департамент, но промахнулся по мобильным устройствам и планшетам.
• У Наделлы упрекают «санитарный» стиль, потерю культуры и якобы набор «средних» сотрудников, тогда как топ-выпускники уходили к Google и Meta.
• Сторонники Наделлы отвечают: Azure и open-source начали двигать ещё при Баллмере, а Microsoft всё ещё эффективно монетизирует Office 365 и корпоративный стек.

Один большой сервер вместо оркестра микросервисов

Современный сервер Azure с двумя AMD EPYC 3-го поколения даёт:

• 128 физических ядер / 256 потоков
• до 8 ТБ ОЗУ, 200 ГБ/с пропускная способность
• 128 линий PCIe 4.0 → 30 NVMe + 100 Гбит/с сеть
• 4 TFLOPS — в 2000 г. хватило бы для первой строчки Top500

Что он умеет

• 800 Гбит/с видео (Netflix)
• 1 млн IOPS в NoSQL, 70 k IOPS в PostgreSQL
• 500 k RPS nginx, компиляция ядра Linux за 20 с, кодирование 4K-видео 75 fps

Сколько стоит

• Аренда:
  – OVH: 128 ядер, 512 ГБ ОЗУ, 50 Гбит/с — $1 318/мес.
  – Hetzner: 32 ядра, 128 ГБ — €140/мес.
  – AWS m6a.metal: 96 ядер, 768 ГБ — $6 055/мес.
• Покупка: ~$40 000 за аналогичную конфигурацию у Dell.

Вывод
Для большинства задач один такой сервер перекрывает потребности всей компании. Распределённые системы нужны редко; чаще достаточно «одного большого сервера» и простого деплоя.

• «Облачный налог» заставляет инженеров выбирать только дорогие облачные решения, хотя за $200/мес. у Hetzner можно взять 48 ядер и 128 ГБ ОЗУ, тогда как AWS даёт лишь 4 vCPU и 16 ГБ.
• Многие участники подтверждают: при стабильной нагрузке гибрид «colo + VPS» или одна большая машина дешевле и проще, чем микросервисы и K8s.
• Ключевые риски: единая точка отказа, необходимость админов и железных рук; зато нет «meta-слоёв» Docker-proxy-nginx и можно выжимать максимум из железа.
• Часть команд тратит годы на «cloud-native» пайплайны и закрывается, не успев выйти на рынок; проще начать с PaaS/Hetzner и переезжать, когда счёт действительно больно.
• Для критичных задач достаточно двух физических серверов (active/backup) и CDN; 99,9 % доступности хватает большинству бизнесов, которым на деле не нужен 100 % uptime.

Positron — бесплатный IDE для дата-сайенса, поддерживающий Python и R.
Скачать

Продукты

• Enterprise: Posit Connect, Workbench, Package Manager
• Cloud: Posit Cloud, Connect Cloud, shinyapps.io

Open Source

• IDE: Positron, RStudio, RStudio Server
• Библиотеки: Tidyverse, ggplot2, dplyr, Quarto, Shiny, vetiver
• Интеграции: dbplyr, sparklyr, googlesheets

Истории клиентов

• Suffolk, Trillium, Unity Health, NASA, Dow

Партнёры

• Платформы: Snowflake, Databricks, SageMaker
• Облака: AWS, Azure, GCP

• Пользователи хвалят Positron за плавный переход из RStudio/VSCode и улучшенные возможности DS, но жалуются на отсутствие inline-графиков в Quarto и медленное внедрение.
• Разработчики подтверждают: форк нужен, потому что VSCode-расширения не позволяют глубоко интегрировать языковые сервисы, тулбары и кастомные UI.
• Некоторые считают продукт «ещё одним форком VSCode» и сомневаются в его нишевости между RStudio, VSCode, Spyder и PyCharm.
• Поддержка WSL пока отсутствует, а цены на RStudio Server выросли, что усиливает интерес к Positron в академической среде.
• Важнейший запрос — inline-вывод в Quarto; его уже рассматривают, и есть настройка для привычных хоткеев RStudio.

• GitHub теряет независимость: уходит CEO Томас Домке; платформу переводят в состав CoreAI — новой инженерной группы Microsoft по ИИ.
• Причина: Microsoft хочет ускорить интеграцию GitHub-сервисов (Copilot, Models) в экосистему Azure и Office.
• Что меняется: GitHub больше не будет дочерней компанией; команды перейдут под руководство вице-президента по ИИ Джейсона Ханджера.

• GitHub переходит под полное управление команды CoreAI Microsoft, что символизирует конец «крутого» периода Microsoft и независимости GitHub.
• Пользователи опасаются, что акцент на AI приведёт к деградации качества и навязыванию продуктов Microsoft.
• Многие уже рассматривают альтернативы: GitLab, Codeberg, Forgejo, SourceHut, Tangled и другие.
• Сообщество критикует GitHub за снижение стабильности, навязчивую интеграцию Copilot и отсутствие прозрачности.
• Наблюдается общее разочарование AI-хайпом и желание вернуть фокус на надёжные инструменты разработки.

POML — язык разметки Prompt Orchestration Markup от Microsoft.
Проект в открытом доступе на GitHub: microsoft/poml.

• Назначение: структурировать, версионировать и переиспользовать промпты для LLM.
• Формат: YAML-подобный, читаемый человеком и парсером.
• Возможности:
  – параметризованные шаблоны,
  – условные ветвления,
  – импорт фрагментов,
  – метаданные (автор, версия, модель).
• CLI: poml build → компиляция в чистый текст, poml test → прогон с примерами.
• CI/CD: экшены GitHub для валидации и деплоя промптов.
• Интеграции: Python SDK, VS Code-расширение, экспорт в OpenAI, Azure, Bedrock.

• POML — это XML-подобный DSL от Microsoft Research для «view-слоя» промптов, но выглядит как «JSX, только хуже» и заставляет писать код в строках.
• Участники сравнивают его с YAML-промптами GitHub, BAML (TypeScript-подобные схемы), Jinja и обычным XML, споря о необходимости новой библиотеки.
• Критика: один контрибьютор при $3T-спонсоре, нет SDK для .NET/C#, лишний tooling, «IP squatting», циклы в XML выглядят как костыль.
• Ирония: из-за потребности в точности неформальные LLM-промпты всё структурнее, как юридические документы.

• aka.ms — коротилка Microsoft. Попытка зайти на https://aka.ms привела к логину только для сотрудников.
• akasearch.net — индекс ссылок aka.ms; нашёлся eng.ms.
• eng.ms — домен с приложением EngineeringHub. При входе через личный M365-аккаунт появился consent-запрос на доступ к профилю. После подтверждения — 500-я ошибка, но OAuth-токен уже выдан.
• rescue.eng.ms — поддомен, где после аналогичного согласия открылся Engineering Hub Rescue: список 22 внутренних сервисов Microsoft (Cloud + AI, Gaming, Finance и др.) с полным доступом через обычный аккаунт.

Итог: публичные OAuth-приложения Microsoft внутри корпоративных тенантов могут выдавать токены сторонним пользователям, если не ограничены политикой согласия. Проверьте свои тенанты на наличие подобных приложений и настройте Admin consent workflow, чтобы избежать утечек.

• Документация Microsoft по Entra ID/SSO вызывает у разработчиков «тыкание в темноте» и ошибки конфигурации.
• Уязвимости в мультитенантных приложениях возникают из-за непроверенных полей токена (iss, tid, audience) и отсутствия фильтрации по тенантам.
• Даже внутренние сервисы Microsoft открыты в интернет из-за политики Zero Trust, что увеличивает поверхность атаки.
• Исследователь получил RCE на сборочных серверах Windows, но Microsoft не выплатила ни цента, вызвав критику программы bug bounty.
• Сообщество советует: не полагаться на Entra для авторизации, всегда валидировать каждое поле токена и строить defense-in-depth.