Why your social.org files can have millions of lines without performance issues
Org Social решает проблему производительности при работе с большими файлами лент через трехслойный подход. Традиционный метод загрузки всех лент последовательно приводит к потере пропускной способности и блокировке интерфейса, так как приходится скачивать до 300KB данных для обработки 1500 постов, когда пользователю нужны лишь 10 последних. Новая система использует одновременную обработку до 20 лент в очереди с автоматическим восстановлением при ошибках.
Второй слой - HTTP Range-запросы, позволяющие загружать только нужные части файлов вместо полной загрузки. Система сначала определяет заголовок и размер файла, затем скачивает только свежие посты. Для платформ без поддержки Range (Cloudflare, Codeberg) предусмотрен автоматический переход к полной загрузке. Третий слой - алгоритм, который находит нужные посты, минимизируя объем данных. В результате вместо 27KB загружается всего 3KB, что значительно повышает производительность.
Комментарии (8)
- @dietr1ch критикует использование HTTP range requests для выборочного доступа к данным, предлагая вместо этого использовать файловую систему для эффективной выборки документов.
- @ChrisArchitect предоставляет контекст, указывая, что Org-social — это децентрализованная социальная сеть, работающая на базе Org Mode.
- @mjmas исправляет опечатку, заменяя "Lines" на "Millions of Lines".
- @pshirshov задает вопрос о популярности проекта.
- @dang благодарит за исправление.
Simplify your code: Functional core, imperative shell 🔥 Горячее 💬 Длинная дискуссия
Google предлагает разделять код на функциональное ядро и императивную оболочку для упрощения разработки. Функциональное ядро содержит чистую бизнес-логику без побочных эффектов, а императивная оболочка обрабатывает взаимодействие с внешними системами. Такой подход позволяет тестировать логику изолированно и делает код более поддерживаемым. В статье приведен пример кода для отправки уведомлений об окончании подписки, демонстрирующий разницу между смешиванием логики и побочных эффектов и их разделением.
При таком разделении добавление новых функций становится проще - достаточно создать новые чистые функции и переиспользовать существующие. Например, для напоминаний о подписке можно создать функцию generateReminderEmails, используя уже существующую getExpiredUsers. Этот паттерн, впервые описанный Гэри Бернхардтом, помогает создавать более тестируемый, поддерживаемый и адаптивный код, избегая "спагетти" из смешанной логики и побочных эффектов.
Комментарии (170)
- Обсуждение вращается вокруг идеи "functional core, imperative shell" (FCIS) и противоположного ей подхода "generic core, specific shell", а также влияния этих подходов на тестируемость, производительность и читаемость кода.
- Участники обсуждают, что FCIS делает код более тестируемым, но может привести к проблемам с производительностью при работе с большими объемами данных, особенно если язык не поддерживает ленивые коллекции.
- Также обсуждается, что важно разделять логику и эффекты, но пример кода в статье вызывает вопросы, потому что он не демонстрирует лучшие практики, такие как пагинация или фильтрация на уровне базы данных.
- Некоторые участники подчеркивают, что важно не только следовать паттерну, но и использовать здравый смысл, чтобы не плодить сущности, которые не масштабируются, и не создавать ситуаций, где пример кода в статье может быть использован как оправдание для плохого кода.
Euro cops take down cybercrime network with 49M fake accounts
Европейская полиция успешно завершила операцию по ликвидации крупной киберпреступной сети. Спецоперация была направлена на борьбу с организованной преступностью в интернете, которая использовала поддельные учетные записи для своих незаконных действий.
В ходе расследования было обнаружено и закрыто 49 миллионов фальшивых аккаунтов, которые использовались для мошенничества, распространения вредоносного ПО и других киберпреступлений. Эта операция стала значительным успехом в борьбе с киберпреступностью в Европе.
Комментарии (64)
- Совместная операция Europol и Shadowserver Foundation привела к крупнейшему в истории закрытию сети из 49 млн фальшивых аккаунтов, что стало самым крупным в истории.
- В ходе операции были конфискованы 1200 SIM-боксов с 40 000 активными SIM-картами, что вызвало дискуссию о том, как операторы могут отличить обычных пользователей от ферм, если вообще могут.
- Обсуждение вызвало вопросы о том, какие именно преступления были совершены, и какова роль операторов в этом, а также о том, что считается преступлением в контексте использования фальшивых аккаунтов и какова роль операторов в этом.
- Участники обсуждали, что такое "фальшивые аккаунты" и какова роль операторов в этом, а также о том, что считается преступлением в контексте использования фальшивых аккаунтов.
- В конце концов, обсуждение пришло к выводу, что важно различать фальшивые аккаунты и что операторы должны играть свою роль в предотвращении злоупотреблений.
How the brain's activity, energy use and blood flow change as people fall asleep
В предоставленном фрагменте отсутствует основное содержание статьи о том, как меняется активность мозга, энергопотребление и кровоток при засыпании. Текст содержит только навигационные элементы сайта Mass General Brigham, но не саму исследовательскую информацию.
Для создания точного пересказа необходимо предоставить основное содержание статьи, включая ключевые выводы исследования, методы, использованные учёными, и конкретные данные о наблюдаемых изменениях в работе мозга. Без этой информации невозможно выделить главную идею и значимые факты.
Комментарии (82)
Interesting study, but it mostly reinforces what we already know about sleep mechanics.Of particular importance is how sensory regions remain metabolically active while higher-order regions downshift during NREM sleep. That suggests the benefit of sleep depends less on how long w
Meet the real screen addicts: the elderly 🔥 Горячее 💬 Длинная дискуссия
—
Комментарии (296)
- Экранная зависимость затрагивает все возрастные группы, но особенно уязвимы пожилые люди, которые из-за ограниченной подвижности и изоляции становятся жертвами алгоритмов, которые эксплуатируют их внимание и приводят к зависимости от экрана.
- Платформы, такие как YouTube, Facebook и другие, используют алгоритмы, которые специально разрабатываются для удержания внимания и манипулирования пользователями. Эти алгоритмы могут быть особенно опасны для пожилых людей, которые могут быть менее способны распознать манипулятивные техники.
- Пожилые люди, которые страдают от экранной зависимости, могут быть особенно уязвимы к мошеничеству и манипуляции. Это может привести к финансовым потерям и другим негативным последствиям.
- Проблема экранной зависимости среди пожилых людей требует комплексного подхода, включающего в себя обучение цифровой грамотности, поддержка и внимание со стороны семьи и друзей, а также возможно регулирование алгоритмов.
Key IOCs for Pegasus and Predator Spyware Removed with iOS 26 Update
С обновлением iOS 26 Apple изменила обработку файла shutdown.log, теперь он полностью перезаписывается при каждой перезагрузке вместо добавления новых записей. Это изменение эффективно удаляет ключевые индикаторы компрометации (IOCs) для шпионского ПО Pegasus и Predator, что создает серьезные проблемы для расследований и проверки устройств на зараженность. Файл shutdown.log был критически важен для обнаружения этих угроз, так как содержал следы деятельности вредоносного ПО даже во время выключения устройства.
В 2021 году в shutdown.log были обнаружены явные следы Pegasus, а к 2022 году злоумышленники стали более изощренными, полностью стирая файл, но даже это оставляло косвенные доказательства. Для версий iOS до 26 конкретным индикатором компрометации была запись /private/var/db/com.apple.xpc.roleaccountd.staging/com.apple.WebKit.Networking. Теперь же с обновлением до iOS 26 все эти следы автоматически удаляются, что происходит в момент, когда количество атак с использованием шпионского ПО только растет.
Комментарии (129)
- Apple удаляет ключевой файл журнала shutdown.log, что лишает пользователей и исследователей единственного способа обнаружить Pegasus и другие вредоносные ПО, и это вызывает вопросы о том, насколько серьезно компания относится к безопасности и прозрачности.
- Удаление журнала делает невозможным обнаружение шпионского ПО, что особенно критично, учитывая что Apple позиционирует себя как защитник конфиденциальности.
- Некоторые комментаторы поднимают вопрос о том, что Apple может быть умышленно оставляет устройства уязвимыми для израильских хакеров, особенно в свете их истории сотрудничества с правительством США.
- Другие указывают на то, что Apple не предоставляет пользователям инструментов для проведения собственных расследований, что делает невозможным для них проверить свои устройства на наличие вредоносного ПО.
- В ответ на это, некоторые участники обсуждения предлагают, что Apple должна предоставить пользователям инструменты для проведения собственных расследований, включая доступ к полному дампу памяти, что позволило бы им проверять свои устройства на наличие вредоносного ПО.
Advice for new principal tech ICs (i.e., notes to myself)
Переход на позицию главного технического специалиста требует фундаментального сдвига мышления: кодирование становится второстепенной задачей, а основное внимание уделяется техническому видению, влиянию и соединению людей. Как отмечает автор, "работа, которая сделала вас успешным в предыдущей роли, теперь становится второстепенной". Важно найти свой стиль: одни специалисты углубляются в одну область, другие excel в горизонтальном влиянии, третьи - в объединении команд под общим видением.
Главная задача - научить организацию ценить то, чем она не занимается, и выполнять работу, которая без вас не произойдет. "Быть прав - это менее половины битвы; нужно убедить других, что вы правы, и побудить их действовать". Ключ к успеху - масштабирование через других: "успех PE (principal engineer) - когда организация способна принимать те же решения, что и PE".
Комментарии (83)
- Обсуждение развернулось вокруг того, что такое «Principal Engineer» и каковы его границы: от «rockstar-инженеров» до «просто хороший инженер, который пишет в блоге о себе в третьем лице».
- Участники обсуждения подчеркнули, что в больших компаниях уровень L6/L7 часто не соответствует реальному влиянию или вкладу, а вместо этого может быть просто результатом политики и саморекламы.
- Были высказаны сомнения в том, что такие должности как Principal Engineer в больших компаниях действительно нужны и что они не являются просто результатом «игры в уровни» и не имеют реального влияния.
- Участники также обсудили, что влияние таких должностей может быть негативным, поскольку они могут быть использованы для саморекламы и политики, а не для технического вклада.
What is intelligence? (2024)
Предоставленный текст не содержит статьи о том, что такое интеллект, а представляет собой навигационное меню сайта издательства MIT Press. В тексте отсутствует основное содержание статьи, которое можно было бы пересказать. Вместо этого представлен интерфейс сайта с разделами на книги, журналы, открытый доступ, информацию для авторов и другие категории. Известно только, что на странице есть заголовок "What Is Intelligence?", но сам контент статьи в предоставленном фрагменте отсутствует.
Комментарии (98)
- Обсуждение вращается вокруг вопроса, что такое интеллект и как его измерять, при этом авторы книг и комментаторы спорят, насколько адекватно она описывает реальность и насколько она полезна для практики.
- Участники обсуждения подчеркивают, что книга не дает четкого определения интеллекта и не предлагает способа его измерения, что делает ее полезность сомнительной.
- Обсуждается, что книга не предлагает конкретных рекомендаций по использованию ИИ в практической деятельности, что делает ее полезность для практиков сомнительной.
- Участники обсуждения также отмечают, что книга не предлагает конкретных рекомендаций по использованию ИИ в практической деятельности, что делает ее полезность для практиков сомнительной.
New OSM file format: 30% smaller than PBF, 5x faster to import
Разработан новый формат файлов GOB (Geo-Object Bundle) для OpenStreetMap, который на 30% компактнее PBF и импортируется в 5 раз быстрее. Планетарный набор данных в формате GOB занимает всего 46 ГБ против 65.4 ГБ в PBF, а загрузка всей планеты в память занимает всего 3 минуты на современных системах. Формат использует тайловую структуру, что позволяет легко извлекать региональные подмножества практически со скоростью копирования файлов.
Для работы с GOB требуется GOL Tool 2.1, поддерживающий команды save и load. Формат не хранит метаданные и историю изменений, поэтому предназначен для архивирования и распространения, а не для редактирования. Уже доступны полные данные планеты в формате GOB (<50 ГБ, обновляются ежедневно). В будущем разработчики планируют экспериментировать с другими алгоритмами сжатия и добавлять функцию загрузки GOB напрямую из URL.
Комментарии (9)
- Обсуждение в основном крутится вокруг нового формата GOB, который пока не имеет полной спецификации и не поддерживается libosmium и GDAL, что ограничивает его практическое применение.
- Участники также обсуждают проблемы с производительностью при работе с большими наборами пространственных данных, включая LIDAR, и обсуждают, какие инструменты и форматы (включая PostGIS и GeoJSON) могут быть использованы для улучшения производительности.
- Также поднимается вопрос о том, что отсутствие поддержки в libosmium и GDAL может ограничить распространение формата, и обсуждаются преимущества и недостатки различных форматов и инструментов.
Study: MRI contrast agent causes harmful metal buildup in some patients 💬 Длинная дискуссия
К сожалению, в предоставленном фрагменте отсутствует основное содержание статьи. Я вижу только заголовок "Study: MRI contrast agent causes harmful metal buildup in some patients" и навигационные элементы сайта, но нет самого текста исследования, результатов или выводов.
Для создания точного пересказа мне нужен полный текст статьи, включая:
- Основные findings исследования
- Конкретные данные о накоплении металла
- Группу пациентов, подверженных риску
- Рекомендации или выводы авторов
Пожалуйста, предоставьте полный текст статьи, и я создам лаконичный пересказ в соответствии с вашими требованиями (~170 слов в двух абзацах).
Комментарии (200)
- Пациенты с хронической почечной недостаточностью действительно подвержены риску нефрогенного системного фиброза при использовании гадолиния, но в последние годы не зафиксировано ни одного случая при использовании современных препаратов.
- Вопрос о накоплении гадолиния в мозге и других тканях остаётся предметом исследований, но нет доказательств, что это приводит к каким-либо клинически значимым последствиям.
- Все участники согласились, что важно информировать пациентов о возможных рисках и давать им возможность принять решение, но подчеркнули, что отсутствие альтернативы не должно быть использовано как аргумент для отказа от необходимой диагностики.
- Обсуждение также коснулось того, что всякая медицинская процедура сопряжена с риском, и что важно взвешивать пользу и риск в каждом конкретном случае.