Hacker News Digest

Текущие речевые LLM работают как обертка: преобразуют речь в текст, обрабатывают его и затем синтезируют ответ обратно в речь, что не позволяет улавливать нюансы интонации, сарказма или эмоций. Даже передовые модели вроде Gemini или ChatGPT с продвинутым голосовым режимом не могут ответить на вопрос о высоте голоса, демонстрируя отставание речевых моделей от текстовых. Проблема в том, что за одну секунду аудио содержится десятки тысяч выборок, в отличие от нескольких слов в тексте, что делает обработку аудио значительно сложнее.

Решением являются нейроаудио-кодеки, такие как Mimi от Kyutai, которые сжимают аудио в более управляемые дискретные токены, аналогично токенизации текста. Вместо предсказания аудио выборка за выборкой, как в ранних моделях вроде WaveNet, кодеки преобразуют непрерывные значения в 256 дискретных "вёдер" с помощью μ-law алгоритма. Этот подход позволяет LLM обрабатывать аудио как последовательность токенов, предсказывать продолжение и затем декодировать обратно в аудио, открывая путь к настоящему пониманию речи.

• Обсуждение охватывает широкий спектр тем: от токенизации аудио до фундаментальных вопросов о том, как моделируются речь и звук, и почему это важно для будущего ИИ.
• Участники обсуждают, что вместо попыток заставить модели распознавать и генерировать речь, мы должны сосредоточиться на создании моделей, которые могут работать с непрерывными сигналами и, таким образом, избегая необходимости в токенизации аудио.
• Обсуждается, что вместо того, чтобы полагаться на существующие аудио кодеки, такие как MP3, мы должны развивать нейрональные кодеки, которые могут быть обучены вместе с моделью и, таким образом, позволяя ей напрямую работать с компактным, дискретным представлением аудио.
• Участники также обсуждают, что вместо того, чтобы пытаться обучить модель на транскрибированном тексте, мы должны использовать аудио-ориентированные данные, которые включают в себе всю информацию, которая теряется при транскрибции. Это может включать в себе обучение модели на транскрибированном тексте, который может быть использован для тренировки TTS-моделей.

Создан совместный проект между разработчиком Tinnitus Works и myNoise — бесплатный нейромодулятор для борьбы с тиннитусом. Инструмент позволяет настраивать звук под индивидуальные симптомы, предлагая множество пресетов (Neural Hack, Pulsatron, Dreamesque) и параметров: стереоширина, скорость ленты, анимация и эквалайзер. Пользователи могут сохранять свои настройки и делиться ими, а также использовать мини-плеер или мобильное приложение.

Рекомендуется начинать с нулевых позиций всех ползунков, постепенно подбирая те, что соответствуют тону тиннитуса. Объем должен быть минимальным, лишь чтобы смешаться с внутренним звуком. Интересный подход: если звуки не полностью маскируют тиннитус, стоит рассматривать его как еще один слой в этом необычном аудиоопыте. Такой метод осознанности помогает дистанцироваться от симптомов. Эксперименты с разными пресетами и баланс громкости, при которой тиннитус едва слышен, могут дать лучшие результаты.

• Пользователи делятся опытом, но нет единого объяснения причин, и большинство врачей не может их выявить.
• Многие описывают, как они научились жить с шумом в ушах, но никто не предлагает универсального лечения.
• Некоторые упоминают, что тиннитус может быть вызван стрессом, но нет единого мнения, как его лечить.
• Пользователи обсуждают, как справляться с тиннитусом, но нет единого мнения, как его лечить.
• Некоторые упоминают, что тиннитус может быть вызван стрессом, но нет единого мнения, как его лечить.

Предоставленный контент представляет собой HTML-код подвала сайта YouTube, а не статью Hacker News для пересказа. В коде содержится стандартная информация о компании: ссылки на разделы "О нас", "Пресса", "Авторские права", "Контакты", "Создатели", "Реклама", "Разработчики", "Условия", "Конфиденциальность", "Политика и безопасность", "Как работает YouTube", "Тестирование новых функций" и "NFL Sunday Ticket". Также указано, что сайт принадлежит Google LLC и защищен авторским правом до 2025 года.

Для создания пересказа Hacker News требуется полноценная статья с новостным содержанием, а не фрагмент веб-сайта. Пожалуйста, предоставьте ссылку на актуальную статью с Hacker News, и я подготовлю точный и ёмкий пересказ в соответствии с вашими требованиями.

• Видео о звуковых эквалайзерах и фильтрах, выложенное на Hacker News, не получило большого интереса, несмотря на то, что автор Posy делает собственную музыку и визуализации, а также затрагивает важные темы, такие как фазовые сдвиги и влияние эквалайзера на фазу сигнала.
• Обсуждение выявило, что большинство комментаторов не смотрят видео, предпочитая текстовые посты, и что заголовок может быть вводящим в заблуждение.
• Некоторые участники обсуждения подчеркнули, что видео важно для объяснения таких тем, как фильтрация, фазовые сдвиги и отклик громкоговорителей, и что важно различать, что измеряет микрофон (комната) и что измеряет кабель (как важно для цифровых аудиофилов).
• Также было отмечено, что важно различать розовый шум (который используется для тестирования) и белый шум, а также то, что графики, которые мы видим в видео, могут быть вводящими в заблуждение, если не учитывать, что они отображают логарифмическую ось Y.

Локальная транскрипция аудио в текст на Python с помощью Whisper от OpenAI решает проблему приватности и затрат. Модель обрабатывает записи офлайн с точностью до 96%, поддерживает множество языков и шумовых условий. Ключевой шаг — установка FFmpeg для обработки аудио, без которой скрипт не заработает.

Доступно пять версий модели: от «tiny» (39 МБ, для тестов) до «large» (1.5 ГБ, максимальная точность). Для большинства задач подходит «base» — баланс скорости и качества. Код включает класс для транскрипции с выводом языка, времени обработки и сохранением результата в файл.

• Участники обсуждают локальные инструменты для преобразования речи в текст, такие как Whisper, SpeechShift и hns, с акцентом на автономность и интеграцию.
• Предлагаются методы улучшения качества транскрипции: предобработка аудио (конвертация в 16кГц WAV, фильтры), постобработка с помощью локальных LLM для очистки текста и снижения количества ошибок.
• Обсуждается добавление диаризации (распознавания говорящих) с помощью библиотек whisperx, pyannote и senko, а также её важность для повышения точности.
• Затрагиваются вопросы производительности, поддержки разных языков и использования аппаратного ускорения (например, Apple MLX) для ускорения обработки.
• Отмечается встроенная поддержка преобразования речи в текст в ffmpeg и упоминаются облачные альтернативы, такие как AssemblyAI, для сравнения точности.

• Recall.ai — API-инфраструктура для записи и транскрипции Zoom/Teams/Meet без собственных ботов; ценность не в транскрипции, а в едином доступе к сырым A/V-данным.
• Поддерживает как бота в звонке, так и Desktop SDK для захвата экрана; диаризация по событиям платформы или голосовым сигнатурам.
• 0,70 $/ч — стартовая цена для тестов, дальше volume-договоры; себестоимость высока из-за CPU-обработки потоков.
• Согласие на запись остаётся на разработчике: компания предоставляет инструменты, но не берёт на себя юридическую ответственность.
• Конкуренция со стороны «одного уик-енда на Whisper» не страшна: сложность в надёжном подключении ко всем платформам и масштабе, а не в модели транскрипции.

Nyquist и Lisp в Audacity

Nyquist — язык для синтеза и анализа аудио, написанный Р. Данненбергом. Audacity использует его подмножество; плагины создаются обычным текстом, без компиляции. Поддерживаются Lisp и C-подобный SAL (до 1.3.8 — только Lisp).

Lisp за 2 минуты
Всё — S-выражение: (функция аргументы…)
Пример: (setf area (* 3.14159 (expt radius 2)))

• Математика: префиксная нотация (* 3 7)

• Своя функция:
  (defun circlearea (r) (* 3.14159 (expt r 2)))
(setf a (circlearea 5))

• Списки:
  (setf lst '(1 2 3)) или (list 1 2 (sqrt 9))
first / rest — доступ к элементам.

Ключевые функции
+ - * / abs sqrt min max expt sin cos tan
listp length reverse sort (first/rest)
if when unless cond

Готово — можно писать эффекты прямо в Audacity.

• Участники удивлены, что кто-то всё ещё поддерживает SAL.
• Большинство давно перешли на обычный Lisp; SAL встречается лишь в старых проектах.
• Новые пользователи даже не знают о существовании SAL.

I've played guitar for 23 years, and there is something just off-putting about most of the music on that page, but particularly "Yellow Bus Jam".The guitar solo sounds very unnatural, especially the phrasing, which is totally random. Blues musicians are actually attempting to say