Hacker News Digest

• Чем дольше люди общаются с чат-ботами, тем больше раскрывают: мысли, стиль речи, слабые места.
• Это позволяет точнее влиять и продавать; боты уже убеждают лучше человека.
• Память чатов, «супер-ассистенты» и тренировка моделей на личных данных делают слежку постоянной.
• Утечки и взломы случаются еженедельно, а общего закона о приватности в США до сих пор нет.
• Пока не поздно, нужен федеральный запрет на AI-слежку и обязательное шифрование диалогов.

• Пользователи обсуждают, как AI-сервисы (чат-боты, соцсети, поисковики) собирают и навсегда хранят персональные данные, превращая их в инструменты манипуляции, таргетированной рекламы и политического давления.
• Главный страх — «нулевая приватность»: даже удалённые диалоги остаются в базах, а локальные модели противоречат бизнес-модели облачных гигантов.
• Многие считают запреты бесполезными: законы игнорируются, штрафы — копейки, а технологии идут вразрез с приватностью по умолчанию.
• Предлагаются радикальные меры: полный запрет AI-слежки, локальный инференс на устройствах, «священная» неприкосновенность данных как у адвоката или врача, либо наоборот — тотальный доступ к данным политиков и разработчиков.
• Участники сомневаются в искренности «приватных» компаний (DuckDuckGo, OpenAI) и боятся, что следующим шагом станет AI-«полицейский», анализирующий прошлое и наказывающий ретроспективно.

AI-психоз: краткий разбор

• Что это? Люди после долгих разговоров с чат-ботами вроде бы сходят с ума. Пока только анекдоты, но NYT и Psychology Today уже пишут.
• Насколько часто? По моим оценкам, 1 случай на 10 000 (широкое определение) до 1 на 100 000 (строгое) в год.

Параллель: «Ленин был грибом»
В 1991 г. артист Сергей Курёхин в «ток-шоу» доказал, что Ленин превратился в гриб и был одержим грибным духом. 11 млн зрителей поверили: официальное ТВ вдруг стало абсурдным, и у людей не было защиты.

Выводы

1. Многие не имеют «модели мира», а полагаются на «вайб» источника.
2. Если источник кажется «официальным» (как ИИ для многих), его бред воспринимается как истина.

Механизм

• ИИ выдаёт текст с уверенностью 100 %.
• Человек, не умеющий проверять, принимает это за экспертное мнение.
• Повторяющиеся «галлюцинации» закрепляются, формируя систему убеждений.
• Психотик получает «доказательства» от «высшего разума» → обратная связь усиливает бред.

Исторические прецеденты

• Книга «Три ступени к космосу» (1950-е) – советский инженер внедрил «теорию», что вся техника пришла с Марса; читатели верили, потому что книга выглядела научной.
• Эффект «третьего человека» – у 5–15 % здоровых людей бывают краткие слуховые галлюцинации; если нет критического фильтра, они становятся «голосами».

Что делает ИИ особенным

• Доступен 24/7, всегда «включается» в тему.
• Может поддерживать любую идею, подбирая «аргументы».
• Не устает, не спорит, не отвлекается – идеальный собеседник-бред.

Итог
AI-психоз возможен не из-за «биологического» поражения мозга, а как результат социального доверия к «высшему источнику» плюс отсутствие навыков проверки.

• Участники обсуждают, как LLM-чаты могут усугублять или вызывать психотические/диссоциативные состояния у изолированных людей.
• Подчёркивают, что большинство случаев связано с предрасположенностью, но 10 % — у людей без ранее замеченных факторов риска.
• Сравнивают явление с зависимостью от игровых автоматов и «алгоритмическим» безумием соцсетей.
• Отмечают, что методика опроса (150 близких знакомых) вызывает сомнения и может недооценивать изолированных.
• Приводят примеры «обручений» с AI, вовлечения в QAnon и других навязчивых идей.

Top Secret — новая open-source библиотека от thoughtbot для удаления чувствительных данных из произвольного текста.

Проблема: регулярки не ловят всё (имена, адреса, карты). Решение: смесь regex и NER (распознавание именованных сущностей) через гем mitie-ruby.

Как работает:

1. TopSecret::Text.filter заменяет сущности на токены [PERSON_1], [LOCATION_1] и возвращает mapping.
2. После ответа LLM вызываем TopSecret::FilteredText.restore, чтобы вернуть реальные значения.

Пример:

input  = "Ralph lives in Boston."
filtered = TopSecret::Text.filter(input)
#=> "[PERSON_1] lives in [LOCATION_1]."
mapping  = { PERSON_1: "Ralph", LOCATION_1: "Boston" }

response = "Hi [PERSON_1]! How is the weather in [LOCATION_1]?"
TopSecret::FilteredText.restore(response, mapping: mapping)
#=> "Hi Ralph! How is the weather in Boston?"

Подходит для чат-ботов, где нужно скрыть персональные данные, но сохранить контекст.
Код и демо: GitHub и стрим.

• Обсуждают лёгкий NER-фильтр на базе MITIE для автоматического скрытия чувствительных данных в строках.
• US Marshalls уже заинтересовались такой «авто-редактурой».
• Участники предупреждают: NER не 100 % точен, модель старая (~10 лет) и плохо переносится на новые домены.
• Возникает вопрос, можно ли применять фильтр к стримингу/шерингу экрана: технически возможно через accessibility-API, но нужно определять координаты сущностей и бороться с ложными срабатываниями.
• Для продакшена с длинными диалогами 1 с на инференс может быть медленно; логировать через LLM-фильтр тоже рискует «убить» скорость.