OpenTelemetry Collector: что это, когда нужен и когда нет

Практическое руководство по OpenTelemetry Collector: что делает, как работает, архитектурные паттерны и как решить, нужен ли он вам для производительности, контроля, безопасности и экономии.

Нужен ли вам OpenTelemetry Collector? Для небольших проектов — возможно нет. Для production-среды с множеством сервисов, где важны стоимость, производительность и безопасность — почти наверняка да.

Краткое определение

OpenTelemetry Collector — это нейтральный к вендорам, расширяемый конвейер телеметрии, который принимает, обрабатывает и экспортирует данные (трейсы, метрики, логи) из ваших приложений в одно или несколько хранилищ.

Он позволяет:

• Очищать данные (удалять чувствительные поля, добавлять контекст)
• Пакетировать отправки и повторять при сбоях
• Применять умное семплирование (сохранять ошибки и редкие медленные трейсы)
• Сглаживать различия между версиями SDK
• Маршрутизировать данные в разные хранилища
• Служить защитным барьером между приложениями и интернетом
• Снижать затраты, отсеивая малополезную телеметрию

Архитектура

Без Collector (прямой экспорт)

Каждый сервис отправляет телеметрию напрямую в бэкенд:

Плюсы:

• Проще (меньше компонентов)
• Меньше операционных затрат
• Подходит для маленьких приложений / POC

Минусы:

• Каждый сервис сам handles retries, auth, backpressure
• Сложно менять экспортеры
• Нет централизованного семплирования / очистки / маршрутизации
• Риск misconfigurations
• Выше стоимость исходящего трафика при отправке в несколько систем

С центральным Collector

Все приложения отправляют данные в центральный Collector, который затем экспортирует:

Плюсы:

• Централизованная конфигурация: семплирование, очистка, обогащение
• Один канал исходящего трафика с пакетированием и retry
• Развязывает жизненный цикл приложения от изменений вендоров
• Меньше нагрузки на приложения
• Безопасность: приложения не выходят в интернет напрямую

• Рекомендуется использовать коллектор OpenTelemetry для упрощения архитектуры, локальной отладки и управления аутентификацией
• Предлагается декаплеить коллектор от потребителей трассировок через брокеры сообщений (Kafka/NATS) для надежности и масштабируемости
• Коллектор рассматривается как защитный шлюз (read-only) между приложениями и базой данных для безопасности
• Отмечается сложность освоения OpenTelemetry, но подчеркивается его ценность как стандарта для интероперабельности
• Указывается полезность OTEL даже для монолитов благодаря возможностям корреляции и вложенных спэнов
• Обсуждаются альтернативы (Vector vs OTEL) и необходимость улучшения документации и примеров
• Упоминается использование коллектора для валидации и тестирования с помощью AI-агентов

Почему появился Apache Kafka
LinkedIn, 2012 г.

Проблема интеграции
LinkedIn нужно было передавать данные активности (лайки, просмотры, публикации) в десятки систем: антифрод, ML-модели, веб-функции, витрины, Hadoop. Эти потоки — критичная инфраструктура, а не просто аналитика.

Старые трубы

• Пакетный конвейер: приложения писали XML на HTTP-сервер; раз в час файлы собирались, парсились и грузились в Oracle + Hadoop.
• Realtime-конвейер: метрики и логи уходили в Zenoss, но туда нельзя было добавить новые данные без ручной работы, а данные были изолированы.

Общие боли

• ручное сопровождение и добавление источников;
• постоянные бэклоги;
• point-to-point архитектура без обмена между системами.

Вывод
LinkedIn понял, что нужен один надёжный, масштабируемый и универсальный «шина событий», куда пишут все, а читают кто угодно. Так родился Kafka.

• LinkedIn отказался от Kafka и создал собственную систему Northguard из-за невозможности масштабировать 32 трлн записей/день, 17 ПБ/день и 400 тыс. топиков.
• Участники спорят: Kafka мощна для «огненных шлангов» данных и многократного потребления, но требует экспертизы и ресурсов; для большинства задач достаточно Redis, NATS, RabbitMQ.
• Названа главная фишка Kafka — возможность переигрывать сообщения и строить разные консьюмеры поверх одного лога.
• Сравнивают NATS (Jetstream) и Apache Pulsar как более лёгкие альтернативы; Redpanda тоже упоминается.
• Мнения разделились: кто-то считает Kafka переоценённой и «бюрократичной», кто-то — незаменимой для больших данных.