Datadog: какво е, мониторинг на приложения и наблюдаемост

Какво е Datadog?

Datadog е облачна платформа за мониторинг и наблюдаемост, стартирана през 2010 г. от Оливие Помел и Алексис Льо-Киок. Платформата предоставя единен панел за събиране на метрики, логове и трейсове от инфраструктура, приложения и потребителски устройства. За разлика от точковите решения, Datadog комбинира APM, логове, мониторинг на инфраструктура, Synthetic Monitoring и RUM в един продукт.

Архитектурата на Datadog е изградена върху агенти – леки програми, които се инсталират на сървъри или се вграждат в приложения. Агентът събира данни и ги изпраща до облачната инфраструктура на Datadog чрез криптирана връзка. За мобилни платформи Datadog предоставя родни SDK, които работят на Android (Kotlin, Java) и iOS (Swift, Objective-C).

Според доклада Gartner Magic Quadrant for APM and Observability (2024), Datadog е признат за лидер в категорията наблюдаемост с най-широкия набор от интегрирани възможности. Платформата се използва от компании като Samsung, Adidas и Peloton за ежедневно наблюдение на милиони устройства.

За мобилните екипи Datadog е особено ценен, защото позволява свързване на производителността на backend с потребителското изживяване на устройството. Ако API започне да отговаря по-бавно, Datadog показва не само времето за отговор на сървъра, но и как това се е отразило на времето за зареждане или изобразяване на екрана на конкретен модел телефон.

Ключови компоненти на платформата

Infrastructure Monitoring проследява метрики за CPU, памет, диск и мрежа за сървъри, контейнери и клъстери Kubernetes. APM (Application Performance Monitoring) събира трейсове за всяка заявка, преминаваща през разпределена система, и показва закъснения на всеки етап. Log Management централизира всички логове – от системни до приложни – с възможност за пълнотекстово търсене и създаване на метрики на базата на логове. Synthetic Monitoring симулира потребителски сценарии от различни географски локации. Real User Monitoring (RUM) събира данни от реални потребителски устройства, включително телефони и таблети.

Ценови модел

Datadog използва модела pay-as-you-go с разделение по продукти: инфраструктурни хостове, APM хостове, логове (обем в гигабайти), RUM сесии и Synthetic тестове. Всеки продукт се таксува отделно, което позволява плащане само за използваните функции. Цената започва от 15 долара на хост на месец за мониторинг на инфраструктура и от 1 долар за 10 000 RUM сесии. За стартиращи компании е достъпна програмата Datadog for Startups с кредити до 100 000 долара.

Datadog APM и Distributed Tracing

Application Performance Monitoring (APM) в Datadog е система за distributed tracing, която проследява всяка заявка от момента на влизане в системата до завършване на всички вложени операции. APM автоматично инструментира популярни рамки и библиотеки: Spring Boot, Django, Express.js, ASP.NET Core и други. За всяка заявка APM изгражда flame graph – визуално представяне на времето за изпълнение на всички части от кода.

Flame graph показва колко време е отнело всяко извикване на функция или заявка към външна услуга. Ако метод на база данни се изпълнява за 2 секунди вместо очакваните 200 милисекунди, това веднага се вижда на графиката. Datadog APM поддържа OpenTelemetry – отворен стандарт за събиране на телеметрия, който позволява свързване на инструментирането от всеки съвместим доставчик.

Според Benchling Engineering Blog (2024), миграцията към Datadog APM позволи на екипа да намали времето за диагностициране на инциденти от 45 минути на 8 минути благодарение на автоматичната корелация на трейсове с логове и метрики. Ключовият сценарий е trace-to-log correlation: по един trace ID могат да бъдат намерени всички логове, свързани с конкретна заявка, без ръчно търсене.

Service Map и зависимости

Service Map е автоматично изградена графична диаграма на всички услуги на системата и техните взаимовръзки. Всяка услуга се показва като възел, а връзките между възлите показват какви извиквания се извършват между услугите. Цветът на възела отразява здравословното състояние: зелен – нормална работа, жълт – повишено закъснение, червен – грешки. Service Map помага бързо да се идентифицира коя услуга е тясното място, дори без предварително проучване на архитектурата.

import datadog.trace.api.Trace;
import io.opentelemetry.api.trace.Span;

public class PaymentService {

    @Trace(resourceName = "PaymentService.processPayment")
    public PaymentResult processPayment(Order order) {
        Span span = Tracer.buildSpan("validate.payment").start();
        try {
            PaymentGateway gateway = new PaymentGateway();
            PaymentResult result = gateway.charge(order.getAmount());
            span.setTag("payment.provider", "stripe");
            return result;
        } finally {
            span.close();
        }
    }
}

Real User Monitoring за мобилни приложения

Real User Monitoring (RUM) в Datadog събира данни от реални потребителски устройства – време за зареждане на екрани, отговор на докосвания, консумация на памет, честота на ANR (Application Not Responding) и процент на сривове. RUM SDK за Android и iOS се вгражда в приложението и автоматично създава сесии, групирайки всички събития в рамките на едно потребителско взаимодействие.

Всяка RUM сесия съдържа последователност от събития: отваряне на екран, натискане на бутон, мрежова заявка, скрол. За всяко събитие Datadog записва времеви клеймо, продължителност и технически характеристики на устройството: модел, операционна система, версия на приложението, тип връзка. Това позволява филтриране на метрики по конкретни версии и устройства. Например може да се види, че времето за зареждане се е увеличило на Android 14 при използване на конкретен модел Samsung.

RUM е тясно интегриран с APM: ако потребителска сесия завърши с грешка на екрана за плащане, Datadog автоматично показва съответния трейс от backend. Това ускорява диагностиката 5-7 пъти в сравнение с ръчното съпоставяне на frontend и backend логове. За мобилни екипи RUM също предоставя watchlist отчети – седмично резюме на влошаването на ключови метрики.

Настройка на RUM мониторинг на грешки

Datadog RUM автоматично събира отчети за сривове с пълен stacktrace, включително номера на редове от изходния код. За Android това работи чрез интеграция с ACRA или Firebase Crashlytics, за iOS – чрез PLCrashReporter. Всеки срив се свързва с потребителската сесия, което позволява възпроизвеждане на последователността от действия, довели до срива. RUM също проследява ANR – едно от най-критичните събития за Android приложения. Ако приложението не отговаря повече от 5 секунди, Datadog записва ANR и показва пълен thread dump в момента на блокиране на UI.

Логване и метрики на инфраструктурата

Log Management в Datadog централизира всички логове на приложението и инфраструктурата в едно хранилище с пълнотекстово търсене. Мобилните логове (аналитични събития, API грешки, телеметрия) се изпращат от устройството чрез SDK и се комбинират със сървърните логове чрез общ идентификатор. Datadog автоматично парсира логовете в структурирани полета: ниво (INFO, WARN, ERROR), услуга, хост, времеви клеймо, съобщение.

За филтриране на логове се използва собствен език за заявки с поддръжка на wildcard, регулярни изрази и фасети. Логовете могат да се групират по шаблони – Datadog автоматично открива повтарящи се модели и ги показва като един клъстер. Това е особено полезно при анализ на хиляди логове от мобилни устройства: еднаквите грешки се групират и разработчикът вижда не 10 000 реда, а 10 клъстера с честота на поява.

Metrics са числови времеви редове, събирани на интервал от 1 секунда. Datadog поддържа три типа метрики: gauge (текуща стойност), count (сума за интервал) и rate (скорост на промяна). За мобилни приложения персонализираните метрики могат да проследяват броя отваряния на екран, времето за изпълнение на ключов бизнес сценарий или честотата на използване на конкретна функция. Персонализираните метрики се изпращат чрез DogStatsD – протокол, съвместим със StatsD, с разширения на Datadog.

import com.datadog.android.Datadog
import com.datadog.android.log.Logger

class PaymentAnalytics {

    private val logger = Logger.Builder()
        .setDatadogLogsEnabled(true)
        .setNetworkInfoEnabled(true)
        .setBundleWithTraceEnabled(true)
        .build()

    fun trackCheckout(orderId: String, amount: Double) {
        logger.info(
            "Checkout initiated for order {orderId}",
            mapOf(
                "order.id" to orderId,
                "order.amount" to amount,
                "payment.method" to "credit_card"
            )
        )
    }
}

Интеграция на Datadog SDK в мобилен проект

Datadog SDK за Android и iOS предоставя единен набор от модули: Core (инициализация), RUM (мониторинг на потребителското изживяване), Logs (изпращане на логове), Trace (проследяване на заявки). За Android SDK се добавя чрез Gradle, за iOS – чрез CocoaPods или Swift Package Manager. След инсталация SDK се инициализира в Application.onCreate (Android) или AppDelegate (iOS) с предаване на client token, environment и име на приложението.

За автоматично проследяване на мрежови заявки на Android се използва OkHttp Interceptor, на iOS – NSURLProtocol или URLSession delegate. Datadog също поддържа интеграция с популярни HTTP клиенти: Retrofit, Apollo GraphQL, Ktor, Alamofire. След свързване на Interceptor, всяка HTTP заявка автоматично се прикрепя към RUM сесията и APM trace, образувайки единна верига от клиента до сървъра.

Конфигурация чрез Gradle (Android)

dependencies {
    // Основен SDK и RUM модул
    implementation "com.datadoghq:dd-sdk-android-core:2.15.0"
    implementation "com.datadoghq:dd-sdk-android-rum:2.15.0"
    // Интеграция с OkHttp за автоматично проследяване
    implementation "com.datadoghq:dd-sdk-android-okhttp:2.15.0"
    // NDK crash reporting
    implementation "com.datadoghq:dd-sdk-android-ndk:2.15.0"
}

Инициализация на iOS (Swift)

import DatadogCore
import DatadogRUM
import DatadogLogs

@main class AppDelegate: UIResponder, UIApplicationDelegate {

    func application(
        _ application: UIApplication,
        didFinishLaunchingWithOptions: [UIApplication.LaunchOptionsKey: Any]?
    ) -> Bool {
        Datadog.initialize(
            with: DatadogConfiguration.builder(
                clientToken: "your_client_token",
                environment: "production"
            ).build()
        )
        RUM.enable(
            with: RUMConfiguration(applicationID: "your_rum_app_id")
        )
        return true
    }
}

Datadog табла и известия

Datadog предоставя графичен редактор на табла, в който могат да се комбинират графики на метрики, таблици с логове, treemap на разпределение на грешки и SLO уиджети. Таблата поддържат променливи на шаблони – например може да се създаде едно табло за всички услуги и да се превключва контекстът чрез падащ списък с името на услугата. Всяко табло може да се публикува в режим само за четене за външни заинтересовани страни чрез публична връзка.

Системата Monitors (известия) позволява задаване на прагови условия за всяка метрика: ако латентността надвишава 500 ms за повече от 5 минути – изпрати известие в Slack, PagerDuty или по имейл. Datadog поддържа сложни условия: „Ако грешките 5xx > 1% и броят на заявките > 1000/мин, увеличи приоритета до критичен“. За мобилни екипи мониторът за откриване на регресия е особено полезен – Datadog автоматично сравнява текущата метрика с историческата базова линия и известява при статистически значимо влошаване.

Според Gartner Peer Insights (2024), средното време за разрешаване на alert (MTTR) при екипи, използващи Datadog монитори с автоматична корелация, намалява с 35% през първия месец след внедряване. Това се постига, защото всяко известие съдържа не само условието за задействане, но и връзки към свързаните табла, логове и трейсове – разработчикът не трябва да превключва между инструменти.