Hacker News Digest

FBI потребовала от провайдера Tucows предоставить данные пользователей Archive.today — одного из самых загадочных и известных интернет-ресурсов. Сервис, работающий более десяти лет, позволяет сохранять и просматривать предыдущие версии веб-страниц, подобно Wayback Machine, но с минимальными ограничениями. Судебный ордер обязал компанию передать информацию о пользователях, что вызвало обеспокоенность в сообществе.

Archive.today привлекает внимание из-за своей политики минимального вмешательства в контент, что делает его популярным инструментом для сохранения информации. Сервис активно используется журналистами, исследователями и активистами для архивации материалов, которые могут быть удалены или изменены. Требование спецслужб ставит под вопрос конфиденциальность пользователей и принципы работы подобных платформ.

• FBI расследует archive.today как часть уголовного дела, хотя неясно, какое именно преступление подразумевается.
• Сайт используется для обхода платных стен, что делает его целью для издателей, которые не могут предложить удобный UX.
• Появляются сообщения, что оператор может быть в России, что вызывает вопросы о том, почему ФБР не может просто заблокировать сайт, если бы это было правдой.
• Пользователи HN обсуждают, что если бы archive.today исчезнет, это лишит их возможности делиться ссылками на статьи без paywall, что вызывает тревогу.
• Некоторые комментаторы подчеркивают, что archive.today использует ботнет и Tor для обхода блокировок, что может быть причиной, по которой ФБР считает его угрозой.

Internet Archive недавно отметил сохранение триллионной веб-страницы, получив признание от города Сан-Франциско и статус федеральной депозитарной библиотеки. Несмотря на эти достижения, организация только что вышла из многолетних судебных разбирательств по авторским правам, которые привели к удалению более 500 000 книг из проекта "Open Library". Основатель Brewster Kahle отметил: "Мы выжили, но это уничтожило библиотеку".

Kahle с 1996 года стремился превратить Internet Archive в цифровую Библиотеку Александрии, предвидя юридические проблемы, но веря, что Wayback Machine изменит понимание авторских прав. Он считает, что споры были не с создателями, а с крупными медиакомпаниями, которые хотят большего, чем предоставляет авторское право. Сейчас Archive не сталкивается с крупными исками, но Kahle сожалеет, что мир стал "глупее" после опустошения Open Library, и ищет новые пути развития.

• Пользователи обсуждают, что Internet Archive (IA) сталкивается с юридическим давлением издателей, что привело к удалению сотен тысяч книг из Open Library, и что это может быть связано с тем, что IA не может позволить себе защищать их в суде, как это делают крупные корпорации.
• Участники обсуждения подчеркивают, что критика IA за «National Emergency Library» инициативу в период пандемии COVID-19, когда библиотеки были закрыты, была неуместной, поскольку она была направлена на обеспечение доступа к книгам для тех, кто не может физически получить к ним доступ.
• Участники также обсуждают, что критика IA за «National Emergency Library» не учитывает, что IA не предоставляет книги в полном объеме, а лишь ограниченный доступ в форме, который не отличается от того, что предоставляют другие библиотеки, использующие цифровое кредитование.
• Участники также обсуждают, что критика IA за использование книг для обучения ИИ-моделей не учитывает, что такое использование не является уникальным для IA и что подобное использование происходит и в других местах.

Интернет-архив достигнет триллиона сохранённых веб-страниц в Wayback Machine в октябре — это результат почти 30 лет работы с библиотеками по всему миру для создания коллективной цифровой памяти человечества. Масштаб достижения подчёркивает важность сохранения онлайн-истории: от глобальных новостей до личных страниц, которые иначе были бы утрачены.

В честь события запланирована серия мероприятий, включая концерт Del Sol Quartet, диалог Тима Бернерса-Ли и Брюстера Кейла о будущем интернета, виртуальный форум библиотечных лидеров и экскурсии по физическому архиву. Эти события не только отмечают веху, но и подчёркивают необходимость продолжать совместными усилиями сохранять веб-контент для будущих поколений.

• Пользователи предлагают технические улучшения для Internet Archive: распределенное пиринговое зеркалирование (по типу torrent), интеграция с IPFS, улучшение поиска по содержимому страниц и статистики.
• Обсуждаются вопросы масштаба и инфраструктуры архива: объем данных, надежность хранения, защита от несанкционированного изменения, сотрудничество с Common Crawl и ArchiveTeam.
• Высказывается критика в адрес скорости работы сервиса, сложности извлечения данных и точности метрик, а также опасения о приватности из-за отсутствия возможности удалить информацию.
• Пользователи делятся инструментами для работы с архивом (например, pywaybackup) и альтернативными сервисами (archive.is).
• Участники выражают благодарность и поддержку Internet Archive, интересуются мероприятиями организации и возможностями трудоустройства.

Как запустить ArchiveTeam Warrior

Это виртуальная машина для архивации сайтов. Работает на Windows, macOS, Linux через VirtualBox или VMware, не влияет на систему, использует лишь трафик и немного диска.

Быстрый старт (VirtualBox)

1. Скачайте образ (357 МБ).
2. VirtualBox → Файл → Импортировать → выбрать файл.
3. Запустите ВМ; она обновится и предложит открыть браузер.

После запуска

• Откройте http://localhost:8001/
• Укажите имя для таблицы лидеров.
• Выберите проект во вкладке «All projects» или оставьте «ArchiveTeam’s Choice» для автоматического выбора приоритетной задачи.

Goo-gl tracker
Загрузка…

• ArchiveTeam (не Archive.org) спас 3,75 млрд коротких ссылок goo.gl и весь их контент (91 ТиБ) до отключения Google 25 августа.
• Данные уже поступают в Wayback Machine; сами файлы WARC пока закрыты «access-restricted».
• Участники просто запускали Docker-контейнер, перебирая пространство URL, чтобы не попасть под бан.
• Поднимались идеи блокчейн/P2P-краулера и сравнение с CommonCrawl, но основная цель — предотвратить link rot.
• Reddit и Twitter тоже архивировались (Pushshift, ArcticShift, AcademicTorrents), пока API не закрыли.