Datadog: что это, мониторинг приложений и observability

Что такое Datadog?

Datadog — это облачная платформа для мониторинга и observability, запущенная в 2010 году Оливье Помелем и Алексисом Ле-Кио. Платформа предоставляет единую панель для сбора метрик, логов и трейсов с инфраструктуры, приложений и пользовательских устройств. В отличие от точечных решений, Datadog объединяет APM, логи, инфраструктурный мониторинг, Synthetic Monitoring и RUM в одном продукте.

Архитектура Datadog построена на агентах — лёгких программах, которые устанавливаются на серверы или встраиваются в приложения. Агент собирает данные и отправляет их в облачную инфраструктуру Datadog через зашифрованное соединение. Для мобильных платформ Datadog предоставляет нативные SDK, которые работают на Android (Kotlin, Java) и iOS (Swift, Objective-C).

По данным отчёта Gartner Magic Quadrant for APM and Observability (2024), Datadog признана лидером в категории observability с самым широким набором интегрированных возможностей. Платформа используется такими компаниями, как Samsung, Adidas и Peloton, для мониторинга миллионов устройств ежедневно.

Для мобильных команд Datadog особенно ценен тем, что позволяет связать производительность бэкенда с пользовательским опытом на устройстве. Если API начинает отвечать медленнее, Datadog показывает не только время ответа сервера, но и то, как это повлияло на launch time или отрисовку экрана на конкретной модели телефона.

Ключевые компоненты платформы

Infrastructure Monitoring отслеживает метрики CPU, памяти, диска и сети для серверов, контейнеров и кластеров Kubernetes. APM (Application Performance Monitoring) собирает трейсы для каждого запроса, проходящего через распределённую систему, и показывает задержки на каждом участке пути. Log Management централизует все логи — от системных до прикладных — с возможностью полнотекстового поиска и создания метрик на основе логов. Synthetic Monitoring симулирует пользовательские сценарии из разных географических точек. Real User Monitoring (RUM) собирает данные с реальных устройств пользователей, включая мобильные телефоны и планшеты.

Модель ценообразования

Datadog использует модель pay-as-you-go с разделением по продуктам: инфраструктурные хосты, APM хосты, логи (объём в гигабайтах), RUM сессии и Synthetic тесты. Каждый продукт тарифицируется отдельно, что позволяет платить только за используемые возможности. Стоимость начинается от 15 долларов за хост в месяц для инфраструктурного мониторинга и от 1 доллара за 10 000 RUM-сессий. Для стартапов доступна программа Datadog for Startups с кредитами до 100 000 долларов.

Datadog APM и Distributed Tracing

Application Performance Monitoring (APM) в Datadog — это система distributed tracing, которая отслеживает каждый запрос от момента входа в систему до завершения всех вложенных операций. APM автоматически инструментирует популярные фреймворки и библиотеки: Spring Boot, Django, Express.js, ASP.NET Core и другие. Для каждого запроса APM строит flame graph — визуальное представление времени выполнения всех участков кода.

Flame graph показывает, сколько времени занял каждый вызов функции или запрос к внешнему сервису. Если метод базы данных выполняется 2 секунды вместо ожидаемых 200 миллисекунд, это сразу видно на графе. Datadog APM поддерживает OpenTelemetry — открытый стандарт сбора телеметрии, что позволяет подключать инструментарий от любых совместимых провайдеров.

По данным Benchling Engineering Blog (2024), миграция на Datadog APM позволила команде сократить время диагностики инцидентов с 45 минут до 8 минут за счёт автоматической корреляции трейсов с логами и метриками. Ключевой сценарий — trace-to-log correlation: по одному trace ID можно найти все логи, относящиеся к конкретному запросу, без ручного поиска.

Service Map и зависимости

Service Map — это автоматически построенная графовая схема всех сервисов системы и их взаимосвязей. Каждый сервис отображается в виде узла, а соединения между узлами показывают, какие вызовы происходят между сервисами. Цвет узла отражает статус здоровья: зелёный — нормальная работа, жёлтый — повышенная задержка, красный — ошибки. Service Map помогает быстро определить, какой сервис является узким местом, даже без предварительного изучения архитектуры.

import datadog.trace.api.Trace;
import io.opentelemetry.api.trace.Span;

public class PaymentService {

    @Trace(resourceName = "PaymentService.processPayment")
    public PaymentResult processPayment(Order order) {
        Span span = Tracer.buildSpan("validate.payment").start();
        try {
            PaymentGateway gateway = new PaymentGateway();
            PaymentResult result = gateway.charge(order.getAmount());
            span.setTag("payment.provider", "stripe");
            return result;
        } finally {
            span.close();
        }
    }
}

Real User Monitoring для мобильных приложений

Real User Monitoring (RUM) в Datadog собирает данные с реальных устройств пользователей — время загрузки экранов, отклик на касания, потребление памяти, частота ANR (Application Not Responding) и crash-рейтинг. RUM SDK для Android и iOS встраивается в приложение и автоматически создаёт сессии, группируя все события в рамках одного пользовательского взаимодействия.

Каждая сессия RUM содержит последовательность событий: открытие экрана, нажатие кнопки, сетевой запрос, скролл. Для каждого события Datadog фиксирует временную метку, длительность и технические характеристики устройства: модель, ОС, версию приложения, тип соединения. Это позволяет фильтровать метрики по конкретным версиям и устройствам. Например, можно увидеть, что launch time вырос на Android 14 при использовании определённой модели Samsung.

RUM тесно интегрирован с APM: если сессия пользователя завершилась ошибкой на экране оплаты, Datadog автоматически показывает соответствующий trace из бэкенда. Это ускоряет диагностику в 5-7 раз по сравнению с ручным сопоставлением фронтенд- и бэкенд-логов. Для мобильных команд RUM также предоставляет watchlist отчёты — еженедельную сводку по ухудшению ключевых метрик.

Настройка RUM мониторинга ошибок

Datadog RUM автоматически собирает crash reports с полным stacktrace, включая номера строк исходного кода. Для Android это работает через интеграцию с ACRA или Firebase Crashlytics, для iOS — через PLCrashReporter. Каждый crash привязывается к сессии пользователя, что позволяет воспроизвести последовательность действий, приведшую к падению. RUM также отслеживает ANR — одно из самых критичных событий для Android-приложений. Если приложение не отвечает дольше 5 секунд, Datadog фиксирует ANR и показывает полный thread dump на момент блокировки UI.

Логирование и метрики инфраструктуры

Log Management в Datadog централизует все логи приложения и инфраструктуры в едином хранилище с полнотекстовым поиском. Мобильные логи (аналитические события, ошибки API, телеметрия) отправляются с устройства через SDK и объединяются с серверными логами по общему идентификатору. Datadog автоматически парсит логи в структурированные поля: уровень (INFO, WARN, ERROR), сервис, хост, временная метка, сообщение.

Для фильтрации логов используется собственный язык запросов с поддержкой wildcard, регулярных выражений и фасетов. Логи можно группировать по шаблонам — Datadog автоматически обнаруживает повторяющиеся паттерны и показывает их как один кластер. Это особенно полезно при разборе тысяч логов от мобильных устройств: одинаковые ошибки группируются, и разработчик видит не 10 000 строк, а 10 кластеров с частотой встречаемости.

Metrics — это числовые временные ряды, собираемые с интервалом от 1 секунды. Datadog поддерживает три типа метрик: gauge (текущее значение), count (сумма за интервал) и rate (скорость изменения). Для мобильных приложений кастомные метрики могут отслеживать количество открытий экрана, время выполнения ключевого бизнес-сценария или частоту использования конкретной функции. Кастомные метрики отправляются через DogStatsD — совместимый с StatsD протокол с расширениями Datadog.

import com.datadog.android.Datadog
import com.datadog.android.log.Logger

class PaymentAnalytics {

    private val logger = Logger.Builder()
        .setDatadogLogsEnabled(true)
        .setNetworkInfoEnabled(true)
        .setBundleWithTraceEnabled(true)
        .build()

    fun trackCheckout(orderId: String, amount: Double) {
        logger.info(
            "Checkout initiated for order {orderId}",
            mapOf(
                "order.id" to orderId,
                "order.amount" to amount,
                "payment.method" to "credit_card"
            )
        )
    }
}

Интеграция Datadog SDK в мобильный проект

Datadog SDK для Android и iOS предоставляет единый набор модулей: Core (инициализация), RUM (мониторинг пользовательского опыта), Logs (отправка логов), Trace (трейсинг запросов). Для Android SDK добавляется через Gradle, для iOS — через CocoaPods или Swift Package Manager. После установки SDK инициализируется в Application.onCreate (Android) или в AppDelegate (iOS) с передачей client token, environment и названия приложения.

Для автоматической трассировки сетевых запросов на Android используется OkHttp Interceptor, на iOS — NSURLProtocol или URLSession delegate. Datadog поддерживает также интеграцию с популярными HTTP-клиентами: Retrofit, Apollo GraphQL, Ktor, Alamofire. После подключения Interceptor каждый HTTP-запрос автоматически привязывается к RUM-сессии и APM-trace, образуя единую цепочку от клиента до сервера.

Конфигурация через Gradle (Android)

dependencies {
    // Основной SDK и RUM модуль
    implementation "com.datadoghq:dd-sdk-android-core:2.15.0"
    implementation "com.datadoghq:dd-sdk-android-rum:2.15.0"
    // Интеграция с OkHttp для автотрейсинга
    implementation "com.datadoghq:dd-sdk-android-okhttp:2.15.0"
    // NDK crash reporting
    implementation "com.datadoghq:dd-sdk-android-ndk:2.15.0"
}

Инициализация на iOS (Swift)

import DatadogCore
import DatadogRUM
import DatadogLogs

@main class AppDelegate: UIResponder, UIApplicationDelegate {

    func application(
        _ application: UIApplication,
        didFinishLaunchingWithOptions: [UIApplication.LaunchOptionsKey: Any]?
    ) -> Bool {
        Datadog.initialize(
            with: DatadogConfiguration.builder(
                clientToken: "your_client_token",
                environment: "production"
            ).build()
        )
        RUM.enable(
            with: RUMConfiguration(applicationID: "your_rum_app_id")
        )
        return true
    }
}

Дашборды и оповещения Datadog

Datadog предоставляет графический редактор дашбордов, в котором можно комбинировать графики метрик, таблицы логов, treemap распределения ошибок и SLO-виджеты. Дашборды поддерживают переменные шаблонов — например, можно создать один дашборд для всех сервисов и переключать контекст через выпадающий список с названием сервиса. Каждый дашборд можно опубликовать в read-only режиме для внешних стейкхолдеров через публичную ссылку.

Система Monitors (оповещений) позволяет задать пороговые условия для любой метрики: если latency превышает 500 мс дольше 5 минут — отправить оповещение в Slack, PagerDuty или по email. Datadog поддерживает составные условия: "Если ошибки 5xx > 1% и количество запросов > 1000/мин, то повысить приоритет до критического". Для мобильных команд особенно полезен монитор regression detection — Datadog автоматически сравнивает текущую метрику с историческим baseline и оповещает при статистически значимом ухудшении.

По данным Gartner Peer Insights (2024), среднее время решения алерта (MTTR) у команд, использующих Datadog мониторы с автоматической корреляцией, снижается на 35% в первый месяц после внедрения. Это достигается за счёт того, что каждое оповещение содержит не только условие срабатывания, но и ссылку на связанные дашборды, логи и трейсы — разработчику не нужно переключаться между инструментами.