DeepFabric – Generate high-quality synthetic datasets at scale
DeepFabric — это библиотека для генерации синтетических датасетов высокого качества, предназначенных для обучения, оценки и исследований языковых моделей. Она использует иерархические деревья тем и экспериментальные графы для создания разнообразных и контекстуально насыщенных примеров. Подходит для исследователей и инженеров, работающих с дистилляцией моделей, оценкой агентов или статистическими исследованиями.
Библиография предлагает инструменты для масштабируемой генерации данных, включая поддержку различных форматов инструкций, таких как Chain of Thought, и интеграцию с популярными платформами, включая Hugging Face. Она распространяется под лицензией Apache 2.0 и активно развивается с открытым исходным кодом.
Комментарии (16)
- Представлен интерактивный инструмент для генерации синтетических данных с возможностью интерактивного редактирования и проверки на каждом шаге.
- Обсуждается техническая реализация: интеграция с существующими схемами БД, поддержка экспорта в txt/csv, переход от древовидных структур к графам (DAG).
- Упоминаются публично доступные синтетические датасеты (GSM8K, DevOps CoT) на Hugging Face для обучения моделей.
- Затронуты вопросы качества данных: низкий уровень дублирования и высокая диверсификация, проверяемая с помощью great-expectations.
- Проводятся параллели с другими методами (GLAN) и обсуждаются возможные заимствования кода между проектами.
US cities pay too much for buses 🔥 Горячее 💬 Длинная дискуссия
Американские города переплачивают за новые автобусы для общественного транспорта из-за неэффективных закупочных практик и федерального регулирования. Например, Нью-Йорк тратит до $1,3 млн за один дизельный автобус, тогда как частные операторы покупают аналогичные модели вдвое дешевле. Основная причина — требование Buy America, обязывающее использовать комплектующие местного производства, что увеличивает стоимость и усложняет цепочки поставок.
Дополнительные расходы возникают из-за кастомизации под нужды конкретных городов, бюрократических задержек и отсутствия конкуренции среди производителей. В итоге бюджеты растягиваются, а обновление парка замедляется. Это снижает эффективность инвестиций в общественный транспорт и ограничивает возможности расширения маршрутов.
Комментарии (528)
- Федеральное финансирование покрывает 80% стоимости автобусов, что снижает чувствительность агентств к цене и ведет к ее росту, аналогично ситуации в здравоохранении.
- Обилие кастомизации и предпочтений агентств (включая косметические изменения), а также правило "Buy America" увеличивают затраты и препятствуют массовому производству.
- Низкая надежность и проблемы с новыми технологиями (например, электробусами Proterra или водородными автобусами) приводят к дополнительным расходам и операционным сложностям.
- Отсутствие стандартизации и конкуренции, а также влияние частного капитала на цепочки поставок способствуют монополизации и завышению цен.
- Обсуждаются системные проблемы: неэффективность из-за отсутствия конкуренции, внешние издержки для общества и предложения по решению (аутсорсинг, стандартизация, изменение модели финансирования).
Комментарии (31)
- Обсуждаются исторические Lisp-процессоры (SCHEME-78, Symbolics 'Ivory', TI) и причины их коммерческого неуспеха: высокая стоимость, проприетарность и несоответствие массовому рынку.
- Выдвигается тезис, что даже если бы такие процессоры выбрали для IBM PC, они бы проиграли из-за архитектурных недостатков и быстрого прогресса традиционных CPU и компиляторов.
- Отмечается связь между разработчиками SCHEME-78 (Гай Стил, Дэнни Хиллис) и их работой в MIT, а также последующим созданием Connection Machine.
- Упоминается важность работ Линн Конвей по VLSI-дизайну и курса, на котором студенты впервые проектировали и производили чипы.
- Обсуждается превосходство специализированных сред, подобных Interlisp-D, над современными инструментами разработки.
Genode OS Framework
Genode — это фреймворк для построения высокозащищённых операционных систем на основе компонентов, применяющий принцип минимальных привилегий и изоляцию процессов. Он использует микроядро, capability-based безопасность и sandboxing для управления сложностью, масштабируясь от встраиваемых устройств до динамических вычислительных систем общего назначения. Ключевые особенности включают строгую организацию компонентов, включая драйверы и системные сервисы, что снижает уязвимости и повышает надёжность.
Фреймворк активно развивается: последние версии, такие как 25.08, добавляют новый планировщик ядра для fairness и низкой задержки, обновляют драйверы Linux до ядра 6.12 и расширяют поддержку микроядра seL4. Для разработчиков доступны подробные руководства — «Genode Foundations» и «Genode Applications», — охватывающие архитектуру, инструменты и портирование приложений, а также Sculpt OS как готовое решение с многомониторной графикой и поддержкой современного железа, включая Intel Meteor Lake.
Комментарии (33)
- Обсуждение архитектуры Genode как набора небольших компонентов, включая ядра и драйверы, в духе философии Unix, но с более широким охватом.
- Вопросы о практическом использовании Sculpt OS: наличие предустановок для десктопа, сложность настройки для новичков и минимальные требования к ресурсам (например, работа с GUI в условиях малого объема RAM).
- Уточнение названия проекта (Genode), которое некоторые участники ошибочно прочитали как "Genocide", и его возможной этимологии.
- Упоминания о долголетии проекта, его использовании разработчиками в качестве основной ОС и демонстрациях на мероприятиях вроде FOSDEM.
- Интерес к текущему состоянию и развитию микрокернельной экосистемы, а также к инструментам для разработки, таким как CI-пайплайны.
Show HN: A little notebook for learning linear algebra with Python
Книга представляет собой структурированное введение в линейную алгебру, разбитое на пять глав, каждая из которых последовательно раскрывает ключевые концепции. Начинается с основ векторов и скаляров, включая операции над ними, скалярное произведение и проекции, затем переходит к матрицам и их свойствам, включая умножение, обратные матрицы и специальные типы вроде симметричных и диагональных. Третья глава посвящена системам линейных уравнений, методам исключения и LU-разложению, четвёртая — векторным пространствам, базисам и размерности, а пятая — линейным преобразованиям, их матричному представлению и свойствам вродя обратимости и проекций.
Особенность подхода — сочетание геометрической интуиции (векторы как стрелки, матрицы как преобразования) с алгебраической строгостью, что помогает глубже понять материал. Практические аспекты, такие как вычисление ранга или работа с координатными системами, подчёркивают прикладную ценность темы для машинного обучения, компьютерной графики и инженерии.
Комментарии (35)
- Участники обсуждают учебные материалы по линейной алгебре, отмечая полезность книги "The Little Book of Linear Algebra" и её связи с практическими лабораторными работами.
- Возникает дискуссия о подходах к обучению: одни подчеркивают важность исполняемого кода для экспериментов, другие настаивают на необходимости изучения абстрактной теории с помощью математических учебников и ручных вычислений.
- Критикуются некоторые визуализации и определения в материалах (например, определение вектора), как вводящие в заблуждение или недостаточно строгие с математической точки зрения.
- Обсуждаются практические аспекты: применимость знаний для компьютерного зрения и машинного обучения, сравнение NumPy с другими инструментами (Octave, MATLAB) и важность интуитивного понимания.
- Автор книги отвечает на критику, поясняя свой подход и предлагая ссылки на дополнительные ресурсы (например, 3Blue1Brown) для лучшего визуального понимания.
Pop OS 24.04 LTS Beta 🔥 Горячее 💬 Длинная дискуссия
System76 выпустила бета-версию Pop!_OS 24.04 LTS с новой средой рабочего стола COSMIC, полностью разработанной внутри компании. Ключевые изменения включают замену стандартных GNOME-приложений на COSMIC-аналоги: Files, Terminal, Text Editor и Media Player, а также обновлённый магазин приложений COSMIC Store. Для установки требуется отключить Secure Boot в BIOS, рекомендуется минимум 4 ГБ ОЗУ и 16 ГБ места.
Известные проблемы беты: несохранение избранных приложений из предыдущей версии, временное отключение PPA при обновлении, ограниченная поддержка перетаскивания файлов между Wayland и X11-приложениями. Также ожидаются баги в играх и отсутствие экранной подсказки для переключения дисплеев. Выпуск финальной версии намечен после исправления ошибок.
Комментарии (186)
- Пользователи положительно оценивают новый рабочий стол Cosmic DE за его функциональность, включая панель на всех экранах и улучшенное управление окнами, по сравнению с GNOME.
- Некоторые пользователи выражают скептицизм относительно готовности Cosmic DE к релизу, отмечая проблемы с драйверами Nvidia, отсутствие поддержки Secure Boot и ARM64, а также сыроватый интерфейс.
- Многие пользователи успешно используют Pop!_OS на старом оборудовании (например, MacBook Pro 2014 года), хотя иногда требуется ручная настройка Wi-Fi и других компонентов.
- Обсуждаются преимущества Pop!_OS, такие как предустановленные драйверы Nvidia в Live ISO и режим тайлинга, а также сравнивается Cosmic с другими средами, такими как Hyprland и Sway.
- Высказываются опасения, что небольшой команде System76 может не хватить ресурсов для долгосрочной поддержки собственной среды рабочего стола, и отмечается медленный темп разработки.
Translating a Fortran F-16 Simulator to Unity3D
Перевод симулятора F-16 из Fortran в Unity3D потребовал адаптации аэрокосмических конвенций под игровой движок. Модель полёта, основанная на данных аэродинамических труб и реализованная через дюжину таблиц поиска и математических уравнений, изначально использовала правостороннюю систему координат с осью X вперёд, Y вправо и Z вниз — в отличие от левостороннего Z-вверх подхода Unity. Ключевой задачей стало корректное преобразование осей и знаков без потери физической точности.
Процесс включал интерполяцию многомерных таблиц, расчёт тяги двигателя, аэродинамических сил и моментов, а также реализацию системы управления полётом с PID-контроллерами и ограничителями перегрузки. Несмотря на профессиональный бэкграунд в аэрокосмической отрасли, автор отмечает сложность верификации такой модели без доступа к реальным лётным данным. Готовый симулятор доступен на itch.io, демонстрируя практический компромисс между академической точностью и игровой доступностью.
Комментарии (111)
- Участники обсуждают опыт работы с FORTRAN и его применение в аэрокосмической симуляции, включая исторические примеры и личные воспоминания.
- Поднимаются вопросы о единицах измерения (например, узлы, слагы) и их конвертации, с критикой подхода автора и предложениями использовать метрическую систему.
- Обсуждаются технические особенности языков программирования, такие как произвольные индексы массивов в FORTRAN и их аналоги в других языках.
- Упоминаются альтернативные реализации симуляторов на JavaScript и Clojure, а также ссылки на открытые проекты вроде Falcon BMS.
- Затрагиваются темы игровой ностальгии, сложностей моделирования физики и юмористические комментарии о единицах измерения (например, поронкусема).
`std::flip`
std::flip — это малоизвестная утилита из стандартной библиотеки C++ в заголовке <functional>, которая принимает вызываемый объект и возвращает его аналог с обратным порядком параметров. Она особенно полезна для переворачивания предикатов, например, чтобы проверить, является ли один узел дерева потомком другого, создав функцию is_descendant_of через std::flip(is_ancestor_of), что зеркально отражает логику предка.
Идея пришла из функционального программирования: аналоги есть в Haskell, PureScript, OCaml и других языках, а также в библиотеках вроде Boost.Hana и Ramda. В сочетании с std::not_fn она позволяет выражать все операторы сравнения через один базовый предикат, упрощая generic-алгоритмы — например, проверку обратной сортировки или реализацию upper_bound через lower_bound. Это элегантный инструмент для сокращения кода и повышения его переиспользуемости.
Комментарии (97)
- Сомнения в существовании
std::flipв C++ и критика его потенциального имени и нишевости. - Обсуждение недостающих для функционального стиля элементов C++: сопоставление с образцом и унифицированный синтаксис вызова.
- Критика сложности предложенной реализации
flipи её потенциальной бесполезности или опасности. - Дебаты о практической полезности функции
flipи её аналогов в других языках. - Обсуждение проблем представления геоданных и применимости
flipкак потенциального источника ошибок.
No reachable chess position with more than 218 moves 🔥 Горячее 💬 Длинная дискуссия
В шахматах не существует достижимой позиции, где у стороны было бы более 218 ходов. Это доказано компьютерным анализом, подтверждающим композицию гроссмейстера Ненада Петровича 1964 года. Попытки превзойти этот рекорд предпринимались десятилетиями, но все они провалились из-за математических ограничений и огромного количества возможных позиций — примерно 8,7×10^45.
Ключевые наблюдения: чёрные фигуры часто бесполезны для увеличения ходов белых, если только не позволяют взятия пешками или снимают шах/пин. Мощные фигуры чёрных можно заменять на слабейшие (например, ферзя на ладью), чтобы сократить анализ. Для белых же замена слабых фигур на сильные не всегда работает из-за особенностей правил. Практический вывод: рекорд Петровича остаётся непобитым благодаря строгим математическим ограничениям.
Комментарии (168)
- Обсуждение касается статьи о максимальном количестве возможных ходов (218) в достижимой позиции в шахматах, а не о количестве ходов для её достижения.
- Участники уточняют терминологию и выражают признательность Lichess за бесплатные возможности и варианты игры.
- Поднимаются технические вопросы о доказательстве оптимальности решения через решатель Gurobi и методах кодирования шахматных позиций.
- Обсуждается достижимость приведённой в статье позиции и влияние упрощения правил на модель.
- Автор статьи (Tobs40) участвует в обсуждении, поясняя свой метод и подтверждая доказательность результата.
A platform-jumping prince – History of Prince of Persia's 1990s Ports
Оригинальная версия Prince of Persia была создана Джорданом Мечнером для Apple II за три года (1986–1989), но наиболее известной стала PC-версия 1990 года с улучшенной графикой и MIDI-музыкой, переоркестрованной его отцом. Именно она легла в основу большинства последующих портов благодаря превосходству языков C-семейства над устаревшим 6502.
Любопытны судьбы портов для Amiga и Macintosh: первый сделал легендарный Дэн Горлин идеально и в срок, а второй затянулся из-за постоянных адаптаций под новые модели Mac. Неофициальные порты для Commodore 64 и Plus/4 появились лишь десятилетия спустя, уже от фанатов.
Комментарии (34)
- Книги Джордана Мекнера о создании игр "Karateka" и "Prince of Persia" высоко оцениваются как увлекательный личный дневник и взгляд на историю компьютерной революции.
- Обсуждается ценность свежего взгляда при тестировании и ревью кода (или любого творческого продукта), так как автор не замечает собственных допущений.
- Пользователи делятся ностальгическими воспоминаниями о своем первом опыте игры в Prince of Persia на различных платформах: DOS, Hercules, Siemens-телефоне, SNES и фанатском порте для Atari.
- Критикуется двухколоночная верстка статьи на сайте, предлагаются технические решения для улучшения читаемости (изменение CSS, режим чтения).
- Отмечаются технические детали портирования игры (поддержка Hercules, различия версий для разных платформ) и высокое качество арта и музыки в версии для SNES.