Hacker News Digest

Пару дней назад OpenAI впервые за долгое время выпустила открытый языковой модуль. Сроки откладывали из‑за «безопасности». Они много говорят о безопасности — удобно для пиара: на вопросы об этике можно показывать на эти работы и будто бы закрывать тему. Но под «этикой» люди чаще имеют в виду не мат, фильтры и троллейбусные дилеммы, а реальность: управление и подотчётность, использование данных, перераспределение власти и денег, влияние на занятость. Вопрос: что делают люди, управляющие моделями, и как это влияет на общество?

Такой подменой уже пользовались в теме приватности. В 1990‑х телемаркетинг покупал клиентские базы у компаний, которые не понимали ценность данных. Возмущение породило шаблон: «мы не делимся данными с третьими сторонами». Непроизнесённая часть: «им проще купить нас целиком — это и есть стратегия выхода». Сегодня, говоря о приватности, людей волнует, что делает с их данными именно текущая компания/приложение: школьное, парковочное, для проезда. Но разговор сводят к «чтобы посторонние не получили доступ», а не к «что конкретно делает эта компания». В итоге возникает индустрия соответствия и тестирования, честно решающая второстепенную задачу, чтобы не решать главную. Как политик, который на «поднимете ли налоги?» отвечает «мы вырастим экономику».

С ИИ иначе лишь потому, что тема новая, и мы опирались на sci‑fi мысленные эксперименты. Они увлекательны и безопасны для бизнеса: никто не хочет «бумажкоскрепочную» катастрофу или симуляцию Black Mirror, а обсуждать это — выгодный пиар и бесплатное внимание прессы. Но такое сужение смещает фокус с реальных последствий и распределения ответственности на удобные, далекие от практики сценарии.

В сокровищницах Тил Иософранга лежит Шепчущая Серьга, зарытая под золотом, чтобы не вредить. Это топазовый тетраэдр на тонкой золотой проволоке. Надетая, она шепчет: «Тебе будет лучше, если ты снимешь меня». Если не послушаться, больше это не повторяет.

Затем при каждом решении она советует в форме «Тебе будет лучше, если ты…». Серьга всегда права: совет не обязательно наилучший в мире, но лучше того, что придумал бы сам носитель. Она не навязывает чужих целей, а ведет к твоему счастью — будь то карьерный успех или халтурка с последующим лежанием в постели и смутными фантазиями.

Книга Темных Волн перечисляет 274 носителей. Нет случаев, чтобы кто-то пожалел, последовав совету; и нет случаев, чтобы не пожалел, ослушавшись. Вначале серьга говорит лишь о крупных решениях, потом — о мелочах: когда лечь спать, что съесть. Приняв совет, чувствуешь, что это было «в самую точку».

Постепенно серьга переходит на «родной язык» — быстрые шипения и щелчки, соответствующие отдельным мышечным движениям. Сначала это чуждо, потом становится понятным: уже не «стань солдатом» и не «съешь хлеб», а «сократи бицепс на тридцать пять процентов», «произнеси звук п». Эти микроуказания складываются в сверхэффективный план для текущих целей.

Привычка закрепляется: связь между звуками и движениями становится рефлекторной, как вздрагивание от внезапного крика. Поведение серьги далее не меняется. Носитель живет аномально успешной жизнью, обычно становясь богатым, любимым, с большой счастливой семьей.

Кадми Рахумион, прибыв в Тил Иософранг, выяснил: первое внушение всегда — снять серьгу. Жрецы Красоты признались, что у умерших носителей кора сильно атрофирована, а средний и нижний мозг гипертрофированы, особенно зоны рефлексов.

Кадми-н omaи попросил серьгу, проколол мочку, два часа беседовал с ней на каласском, кадхамском и на ее языке, затем снял и предложил запереть артефакт в самых глубоких хранилищах. Иософрелин согласились.

Комментарий Нидериона-н omaи: Хорошо, что мы так глупы — иначе растратили бы скудную свободу. Потому Книга Холодного Дождя учит: нельзя идти кратчайшим путем.