Datadog: wat is het, applicatiemonitoring en observeerbaarheid

Wat is Datadog?

Datadog is een cloudplatform voor monitoring en observeerbaarheid, gelanceerd in 2010 door Olivier Pomel en Alexis Le-Quioc. Het platform biedt een enkel paneel voor het verzamelen van metrieken, logs en traces van infrastructuur, applicaties en gebruikersapparaten. In tegenstelling tot puntoplossingen combineert Datadog APM, logs, infrastructuurmonitoring, Synthetic Monitoring en RUM in één product.

De architectuur van Datadog is gebaseerd op agents - lichte programma’s die op servers worden geïnstalleerd of in applicaties worden ingebed. De agent verzamelt gegevens en stuurt deze via een versleutelde verbinding naar de cloudinfrastructuur van Datadog. Voor mobiele platforms biedt Datadog native SDK’s die werken op Android (Kotlin, Java) en iOS (Swift, Objective-C).

Volgens het Gartner Magic Quadrant for APM and Observability (2024) rapport is Datadog erkend als leider in de categorie observeerbaarheid met de breedste set geïntegreerde mogelijkheden. Het platform wordt gebruikt door bedrijven zoals Samsung, Adidas en Peloton voor het dagelijks monitoren van miljoenen apparaten.

Voor mobiele teams is Datadog bijzonder waardevol omdat het de prestaties van de backend koppelt aan de gebruikerservaring op het apparaat. Als een API langzamer begint te reageren, toont Datadog niet alleen de responstijd van de server, maar ook hoe dit de opstarttijd of het renderen van het scherm op een specifiek telefoonmodel heeft beïnvloed.

Belangrijkste componenten van het platform

Infrastructure Monitoring volgt CPU-, geheugen-, schijf- en netwerkmetrieken voor servers, containers en Kubernetes-clusters. APM (Application Performance Monitoring) verzamelt traces voor elk verzoek dat door een gedistribueerd systeem gaat en toont vertragingen in elke fase. Log Management centraliseert alle logs - van systeem tot applicatie - met full-text zoekmogelijkheden en het creëren van metrieken op basis van logs. Synthetic Monitoring simuleert gebruikersscenario’s vanuit verschillende geografische locaties. Real User Monitoring (RUM) verzamelt gegevens van echte gebruikersapparaten, waaronder telefoons en tablets.

Prijsmodel

Datadog gebruikt het pay-as-you-go model met opsplitsing per product: infrastructuurhosts, APM-hosts, logs (volume in gigabytes), RUM-sessies en Synthetic-tests. Elk product wordt apart gefactureerd, waardoor u alleen betaalt voor de gebruikte functies. De kosten beginnen bij $15 per host per maand voor infrastructuurmonitoring en vanaf $1 voor 10.000 RUM-sessies. Voor startups is het Datadog for Startups-programma beschikbaar met credits tot $100.000.

Datadog APM en Distributed Tracing

Application Performance Monitoring (APM) in Datadog is een distributed tracing systeem dat elk verzoek volgt vanaf het moment van binnenkomst in het systeem tot de voltooiing van alle geneste bewerkingen. APM instrumenteert automatisch populaire frameworks en bibliotheken: Spring Boot, Django, Express.js, ASP.NET Core en andere. Voor elk verzoek bouwt APM een flame graph - een visuele weergave van de uitvoeringstijd van alle codedelen.

De flame graph toont hoeveel tijd elke functieaanroep of verzoek aan een externe service heeft gekost. Als een databasemethode 2 seconden duurt in plaats van de verwachte 200 milliseconden, is dit direct zichtbaar in de grafiek. Datadog APM ondersteunt OpenTelemetry - een open standaard voor het verzamelen van telemetrie, waarmee instrumentatie van elke compatibele provider kan worden aangesloten.

Volgens de Benchling Engineering Blog (2024) heeft de migratie naar Datadog APM het team in staat gesteld de diagnosetijd van incidenten te verkorten van 45 minuten naar 8 minuten, dankzij automatische correlatie van traces met logs en metrieken. Het belangrijkste scenario is trace-to-log correlatie: met één trace ID kunnen alle logs met betrekking tot een specifiek verzoek worden gevonden zonder handmatig zoeken.

Service Map en afhankelijkheden

Service Map is een automatisch gebouwde grafische weergave van alle services in het systeem en hun onderlinge verbindingen. Elke service wordt weergegeven als een knooppunt en de verbindingen tussen knooppunten tonen welke aanroepen tussen services plaatsvinden. De kleur van het knooppunt weerspiegelt de gezondheidstoestand: groen - normaal, geel - verhoogde vertraging, rood - fouten. Service Map helpt snel te bepalen welke service een knelpunt is, zelfs zonder voorafgaande bestudering van de architectuur.

import datadog.trace.api.Trace;
import io.opentelemetry.api.trace.Span;

public class PaymentService {

    @Trace(resourceName = "PaymentService.processPayment")
    public PaymentResult processPayment(Order order) {
        Span span = Tracer.buildSpan("validate.payment").start();
        try {
            PaymentGateway gateway = new PaymentGateway();
            PaymentResult result = gateway.charge(order.getAmount());
            span.setTag("payment.provider", "stripe");
            return result;
        } finally {
            span.close();
        }
    }
}

Real User Monitoring voor mobiele apps

Real User Monitoring (RUM) in Datadog verzamelt gegevens van echte gebruikersapparaten - laadtijd van schermen, reactie op aanrakingen, geheugengebruik, frequentie van ANR (Application Not Responding) en crashpercentage. De RUM SDK voor Android en iOS wordt in de app ingebed en creëert automatisch sessies, waarbij alle gebeurtenissen binnen één gebruikersinteractie worden gegroepeerd.

Elke RUM-sessie bevat een reeks gebeurtenissen: scherm openen, knop indrukken, netwerkverzoek, scrollen. Voor elke gebeurtenis registreert Datadog een tijdstempel, duur en technische kenmerken van het apparaat: model, besturingssysteem, app-versie, verbindingstype. Dit maakt het mogelijk metrieken te filteren op specifieke versies en apparaten. U kunt bijvoorbeeld zien dat de opstarttijd is toegenomen op Android 14 bij gebruik van een specifiek Samsung-model.

RUM is nauw geïntegreerd met APM: als een gebruikerssessie eindigt met een fout op het betalingsscherm, toont Datadog automatisch de bijbehorende trace van de backend. Dit versnelt de diagnose met 5-7 keer in vergelijking met handmatige matching van frontend- en backend-logs. Voor mobiele teams biedt RUM ook watchlist-rapporten - een wekelijkse samenvatting van verslechtering van belangrijke metrieken.

RUM-foutbewaking configureren

Datadog RUM verzamelt automatisch crashrapporten met volledige stacktrace, inclusief regelnummers van broncode. Voor Android werkt dit via integratie met ACRA of Firebase Crashlytics, voor iOS via PLCrashReporter. Elke crash wordt gekoppeld aan de gebruikerssessie, waardoor de reeks acties die tot de crash heeft geleid kan worden gereproduceerd. RUM volgt ook ANR - een van de meest kritieke gebeurtenissen voor Android-apps. Als de app langer dan 5 seconden niet reageert, registreert Datadog ANR en toont een volledige thread dump op het moment van de UI-blokkade.

Logging en infrastructuurmetrieken

Log Management in Datadog centraliseert alle applicatie- en infrastructuurlogs in één opslagplaats met full-text zoekopdracht. Mobiele logs (analytische gebeurtenissen, API-fouten, telemetrie) worden via SDK van het apparaat verzonden en gecombineerd met serverlogs via een gemeenschappelijke identificatie. Datadog parseert logs automatisch in gestructureerde velden: niveau (INFO, WARN, ERROR), service, host, tijdstempel, bericht.

Voor het filteren van logs wordt een eigen querytaal gebruikt met ondersteuning voor wildcard, reguliere expressies en facetten. Logs kunnen worden gegroepeerd op sjablonen - Datadog detecteert automatisch terugkerende patronen en toont ze als één cluster. Dit is vooral nuttig bij het analyseren van duizenden logs van mobiele apparaten: identieke fouten worden gegroepeerd en de ontwikkelaar ziet niet 10.000 regels, maar 10 clusters met frequentie van voorkomen.

Metrics zijn numerieke tijdreeksen die worden verzameld met intervallen vanaf 1 seconde. Datadog ondersteunt drie typen metrieken: gauge (huidige waarde), count (som over interval) en rate (snelheid van verandering). Voor mobiele apps kunnen aangepaste metrieken het aantal schermopenvolgingen, de uitvoeringstijd van een belangrijk bedrijfsscenario of de gebruiksfrequentie van een specifieke functie volgen. Aangepaste metrieken worden verzonden via DogStatsD - een met StatsD compatibel protocol met Datadog-extensies.

import com.datadog.android.Datadog
import com.datadog.android.log.Logger

class PaymentAnalytics {

    private val logger = Logger.Builder()
        .setDatadogLogsEnabled(true)
        .setNetworkInfoEnabled(true)
        .setBundleWithTraceEnabled(true)
        .build()

    fun trackCheckout(orderId: String, amount: Double) {
        logger.info(
            "Checkout initiated for order {orderId}",
            mapOf(
                "order.id" to orderId,
                "order.amount" to amount,
                "payment.method" to "credit_card"
            )
        )
    }
}

Datadog SDK integreren in een mobiel project

Datadog SDK voor Android en iOS biedt een uniforme set modules: Core (initialisatie), RUM (monitoring van gebruikerservaring), Logs (verzenden van logs), Trace (tracking van verzoeken). Voor Android wordt de SDK toegevoegd via Gradle, voor iOS via CocoaPods of Swift Package Manager. Na installatie wordt de SDK geïnitialiseerd in Application.onCreate (Android) of in AppDelegate (iOS) met overdracht van client token, environment en app-naam.

Voor automatische tracking van netwerkverzoeken op Android wordt OkHttp Interceptor gebruikt, op iOS - NSURLProtocol of URLSession delegate. Datadog ondersteunt ook integratie met populaire HTTP-cliënten: Retrofit, Apollo GraphQL, Ktor, Alamofire. Na het aansluiten van de Interceptor wordt elk HTTP-verzoek automatisch gekoppeld aan de RUM-sessie en APM-trace, waardoor een uniforme keten van client naar server ontstaat.

Configuratie via Gradle (Android)

dependencies {
    // Primaire SDK en RUM-module
    implementation "com.datadoghq:dd-sdk-android-core:2.15.0"
    implementation "com.datadoghq:dd-sdk-android-rum:2.15.0"
    // Integratie met OkHttp voor automatische tracking
    implementation "com.datadoghq:dd-sdk-android-okhttp:2.15.0"
    // NDK crash reporting
    implementation "com.datadoghq:dd-sdk-android-ndk:2.15.0"
}

Initialisatie op iOS (Swift)

import DatadogCore
import DatadogRUM
import DatadogLogs

@main class AppDelegate: UIResponder, UIApplicationDelegate {

    func application(
        _ application: UIApplication,
        didFinishLaunchingWithOptions: [UIApplication.LaunchOptionsKey: Any]?
    ) -> Bool {
        Datadog.initialize(
            with: DatadogConfiguration.builder(
                clientToken: "your_client_token",
                environment: "production"
            ).build()
        )
        RUM.enable(
            with: RUMConfiguration(applicationID: "your_rum_app_id")
        )
        return true
    }
}

Datadog dashboards en meldingen

Datadog biedt een grafische dashboard-editor waarin metriekgrafieken, logtabellen, treemap van foutverdeling en SLO-widgets kunnen worden gecombineerd. Dashboards ondersteunen sjabloonvariabelen - bijvoorbeeld, u kunt één dashboard maken voor alle services en de context schakelen via een vervolgkeuzelijst met de servicenaam. Elk dashboard kan in alleen-lezen modus worden gepubliceerd voor externe belanghebbenden via een openbare link.

Het Monitors (meldingen) systeem maakt het mogelijk drempelwaarden in te stellen voor elke metriek: als de latentie langer dan 5 minuten boven de 500 ms komt - stuur een melding naar Slack, PagerDuty of e-mail. Datadog ondersteunt samengestelde voorwaarden: “Als 5xx-fouten > 1% en het aantal verzoeken > 1000/min, verhoog dan de prioriteit naar kritiek”. Voor mobiele teams is de regressiedetectiemonitor bijzonder nuttig - Datadog vergelijkt automatisch de huidige metriek met de historische basislijn en waarschuwt bij statistisch significante verslechtering.

Volgens Gartner Peer Insights (2024) daalt de gemiddelde tijd om een alert op te lossen (MTTR) bij teams die Datadog-monitoren met automatische correlatie gebruiken met 35% in de eerste maand na implementatie. Dit wordt bereikt doordat elke melding niet alleen de triggerconditie bevat, maar ook links naar gerelateerde dashboards, logs en traces - de ontwikkelaar hoeft niet tussen tools te schakelen.