Datadog: ano ito, monitoring ng aplikasyon at observability

Ano ang Datadog?

Datadog ay isang cloud platform para sa monitoring at observability, inilunsad noong 2010 nina Olivier Pomel at Alexis Le-Quioc. Ang platform ay nagbibigay ng iisang panel para sa pagkolekta ng mga metric, log at trace mula sa imprastraktura, aplikasyon at mga device ng user. Hindi tulad ng mga point solution, pinagsasama ng Datadog ang APM, log, monitoring ng imprastraktura, Synthetic Monitoring at RUM sa iisang produkto.

Ang arkitektura ng Datadog ay binuo sa mga agent - mga magaan na programa na naka-install sa mga server o naka-embed sa mga aplikasyon. Kinokolekta ng agent ang data at ipinapadala ito sa cloud infrastructure ng Datadog sa pamamagitan ng naka-encrypt na koneksyon. Para sa mga mobile platform, nag-aalok ang Datadog ng native SDK na gumagana sa Android (Kotlin, Java) at iOS (Swift, Objective-C).

Ayon sa ulat ng Gartner Magic Quadrant for APM and Observability (2024), ang Datadog ay kinilala bilang lider sa kategorya ng observability na may pinakamalawak na hanay ng integrated capabilities. Ang platform ay ginagamit ng mga kumpanya tulad ng Samsung, Adidas at Peloton para sa araw-araw na pagsubaybay ng milyun-milyong device.

Para sa mga mobile team, ang Datadog ay partikular na mahalaga dahil pinapayagan nitong iugnay ang performance ng backend sa karanasan ng user sa device. Kung ang API ay nagsimulang tumugon nang mas mabagal, ipinapakita ng Datadog hindi lamang ang oras ng pagtugon ng server, kundi pati na rin kung paano ito nakaapekto sa oras ng pag-load o pag-render ng screen sa isang partikular na modelo ng telepono.

Mga Pangunahing Component ng Platform

Infrastructure Monitoring ay sumusubaybay sa metrics ng CPU, memory, disk at network para sa mga server, container at Kubernetes cluster. APM (Application Performance Monitoring) ay kumokolekta ng mga trace para sa bawat kahilingan na dumadaan sa distributed system at nagpapakita ng mga latency sa bawat yugto. Log Management ay nagsasentralisa ng lahat ng log - mula sa system hanggang aplikasyon - na may kakayahang full-text search at paglikha ng metrics batay sa mga log. Synthetic Monitoring ay ginagaya ang mga user scenario mula sa iba’t ibang heograpikal na lokasyon. Real User Monitoring (RUM) ay kumokolekta ng data mula sa mga tunay na device ng user, kabilang ang mga telepono at tablet.

Modelo ng Presyo

Gumagamit ang Datadog ng pay-as-you-go na modelo na may paghahati ayon sa produkto: infrastructure host, APM host, log (volume sa gigabytes), RUM sessions at Synthetic tests. Ang bawat produkto ay sinisingil nang hiwalay, na nagpapahintulot na magbayad lamang para sa mga gamit na feature. Ang presyo ay nagsisimula sa $15 bawat host bawat buwan para sa monitoring ng imprastraktura at mula $1 para sa 10,000 RUM sessions. Para sa mga startup, available ang Datadog for Startups program na may credits hanggang $100,000.

Datadog APM at Distributed Tracing

Application Performance Monitoring (APM) sa Datadog ay isang distributed tracing system na sumusubaybay sa bawat kahilingan mula sa pagpasok sa system hanggang sa pagkumpleto ng lahat ng nested operations. Awtomatikong ini-instrument ng APM ang mga sikat na framework at library: Spring Boot, Django, Express.js, ASP.NET Core at iba pa. Para sa bawat kahilingan, nagtatayo ang APM ng flame graph - visual na representasyon ng oras ng execution ng lahat ng bahagi ng code.

Ipinapakita ng flame graph kung gaano katagal ang bawat function call o kahilingan sa external na serbisyo. Kung ang isang database method ay na-execute sa loob ng 2 segundo sa halip na inaasahang 200 milliseconds, ito ay agad na makikita sa graph. Sinusuportahan ng Datadog APM ang OpenTelemetry - isang open standard para sa pagkolekta ng telemetry, na nagpapahintulot sa pagkonekta ng instrumentation mula sa anumang compatible na provider.

Ayon sa Benchling Engineering Blog (2024), ang paglipat sa Datadog APM ay nagpapahintulot sa team na bawasan ang oras ng diagnosis ng insidente mula 45 minuto hanggang 8 minuto dahil sa awtomatikong correlation ng mga trace sa mga log at metric. Ang pangunahing scenario ay trace-to-log correlation: sa pamamagitan ng isang trace ID, lahat ng log na may kaugnayan sa isang partikular na kahilingan ay matatagpuan nang walang manual na paghahanap.

Service Map at Dependencies

Service Map ay isang awtomatikong binuong graphic diagram ng lahat ng serbisyo ng system at ng kanilang mga interconnection. Ang bawat serbisyo ay ipinapakita bilang isang node, at ang mga koneksyon sa pagitan ng mga node ay nagpapakita kung anong mga tawag ang nagaganap sa pagitan ng mga serbisyo. Ang kulay ng node ay sumasalamin sa kalagayan ng kalusugan: berde - normal na operasyon, dilaw - tumaas na latency, pula - mga error. Ang Service Map ay tumutulong na mabilis matukoy kung aling serbisyo ang bottleneck, kahit walang paunang pag-aaral ng arkitektura.

import datadog.trace.api.Trace;
import io.opentelemetry.api.trace.Span;

public class PaymentService {

    @Trace(resourceName = "PaymentService.processPayment")
    public PaymentResult processPayment(Order order) {
        Span span = Tracer.buildSpan("validate.payment").start();
        try {
            PaymentGateway gateway = new PaymentGateway();
            PaymentResult result = gateway.charge(order.getAmount());
            span.setTag("payment.provider", "stripe");
            return result;
        } finally {
            span.close();
        }
    }
}

Real User Monitoring para sa Mobile Apps

Real User Monitoring (RUM) sa Datadog ay kumokolekta ng data mula sa mga tunay na device ng user - oras ng pag-load ng screen, pagtugon sa pagpindot, konsumo ng memory, frequency ng ANR (Application Not Responding) at crash rate. Ang RUM SDK para sa Android at iOS ay naka-embed sa app at awtomatikong lumilikha ng mga session, na naggrupo ng lahat ng event sa loob ng isang user interaction.

Ang bawat RUM session ay naglalaman ng pagkakasunod-sunod ng mga event: pagbubukas ng screen, pagpindot ng button, network request, pag-scroll. Para sa bawat event, nire-record ng Datadog ang timestamp, tagal at teknikal na katangian ng device: modelo, OS, bersyon ng app, uri ng koneksyon. Ito ay nagpapahintulot sa pag-filter ng metrics ayon sa partikular na bersyon at device. Halimbawa, makikita na ang oras ng pag-load ay tumaas sa Android 14 kapag gumagamit ng isang partikular na modelo ng Samsung.

Ang RUM ay malapit na integrated sa APM: kung ang session ng user ay natapos na may error sa screen ng pagbabayad, awtomatikong ipinapakita ng Datadog ang kaukulang trace mula sa backend. Ito ay nagpapabilis ng diagnosis ng 5-7 beses kumpara sa manual na pagtutugma ng frontend at backend log. Para sa mga mobile team, ang RUM ay nagbibigay din ng watchlist reports - lingguhang buod ng pagkasira ng mga pangunahing metric.

Pag-configure ng RUM Error Monitoring

Awtomatikong kinokolekta ng Datadog RUM ang mga crash report na may kumpletong stacktrace, kabilang ang mga numero ng linya ng source code. Para sa Android, ito ay gumagana sa pamamagitan ng integrasyon sa ACRA o Firebase Crashlytics, para sa iOS - sa pamamagitan ng PLCrashReporter. Ang bawat crash ay naka-link sa session ng user, na nagpapahintulot sa pag-reproduce ng pagkakasunod-sunod ng mga aksyon na humantong sa pag-crash. Sinusubaybayan din ng RUM ang ANR - isa sa mga pinaka-kritikal na event para sa Android apps. Kung ang app ay hindi tumugon nang higit sa 5 segundo, nire-record ng Datadog ang ANR at nagpapakita ng kumpletong thread dump sa sandali ng pag-block ng UI.

Logging at Infrastructure Metrics

Log Management sa Datadog ay nagsasentralisa ng lahat ng log ng aplikasyon at imprastraktura sa iisang imbakan na may full-text search. Ang mga mobile log (analytical event, API error, telemetry) ay ipinapadala mula sa device sa pamamagitan ng SDK at pinagsama sa server log sa pamamagitan ng common identifier. Awtomatikong nini-parse ng Datadog ang mga log sa structured fields: level (INFO, WARN, ERROR), serbisyo, host, timestamp, mensahe.

Para sa pag-filter ng mga log, ginagamit ang sariling query language na may suporta para sa wildcard, regular expression at facets. Ang mga log ay maaaring igrupo ayon sa pattern - awtomatikong nakikita ng Datadog ang mga paulit-ulit na pattern at ipinapakita ang mga ito bilang isang cluster. Ito ay lalong kapaki-pakinabang sa pagsusuri ng libu-libong log mula sa mga mobile device: ang magkaparehong error ay naka-grupo, at ang developer ay nakakakita hindi 10,000 linya, kundi 10 cluster na may frequency ng paglitaw.

Metrics ay numerical time series na kinokolekta sa interval mula 1 segundo. Sinusuportahan ng Datadog ang tatlong uri ng metric: gauge (kasalukuyang halaga), count (kabuuan sa interval) at rate (bilis ng pagbabago). Para sa mga mobile app, ang custom metrics ay maaaring sumubaybay sa bilang ng pagbubukas ng screen, oras ng execution ng pangunahing business scenario, o frequency ng paggamit ng isang partikular na function. Ang custom metrics ay ipinapadala sa pamamagitan ng DogStatsD - isang protocol na compatible sa StatsD na may Datadog extensions.

import com.datadog.android.Datadog
import com.datadog.android.log.Logger

class PaymentAnalytics {

    private val logger = Logger.Builder()
        .setDatadogLogsEnabled(true)
        .setNetworkInfoEnabled(true)
        .setBundleWithTraceEnabled(true)
        .build()

    fun trackCheckout(orderId: String, amount: Double) {
        logger.info(
            "Checkout initiated for order {orderId}",
            mapOf(
                "order.id" to orderId,
                "order.amount" to amount,
                "payment.method" to "credit_card"
            )
        )
    }
}

Integrasyon ng Datadog SDK sa Mobile Project

Datadog SDK para sa Android at iOS ay nagbibigay ng uniform set ng modules: Core (initialization), RUM (monitoring ng user experience), Logs (pagpapadala ng log), Trace (pagsubaybay ng request). Para sa Android, ang SDK ay idinaragdag sa pamamagitan ng Gradle, para sa iOS - sa pamamagitan ng CocoaPods o Swift Package Manager. Pagkatapos ng installation, ang SDK ay ini-initialize sa Application.onCreate (Android) o sa AppDelegate (iOS) na may pagbibigay ng client token, environment at pangalan ng app.

Para sa awtomatikong pagsubaybay ng network request sa Android, ginagamit ang OkHttp Interceptor, sa iOS - NSURLProtocol o URLSession delegate. Sinusuportahan din ng Datadog ang integrasyon sa mga sikat na HTTP client: Retrofit, Apollo GraphQL, Ktor, Alamofire. Pagkatapos ikonekta ang Interceptor, ang bawat HTTP request ay awtomatikong naka-attach sa RUM session at APM-trace, na bumubuo ng isang chain mula client hanggang server.

Configuration sa pamamagitan ng Gradle (Android)

dependencies {
    // Pangunahing SDK at RUM module
    implementation "com.datadoghq:dd-sdk-android-core:2.15.0"
    implementation "com.datadoghq:dd-sdk-android-rum:2.15.0"
    // Integrasyon sa OkHttp para sa awtomatikong pagsubaybay
    implementation "com.datadoghq:dd-sdk-android-okhttp:2.15.0"
    // NDK crash reporting
    implementation "com.datadoghq:dd-sdk-android-ndk:2.15.0"
}

Initialization sa iOS (Swift)

import DatadogCore
import DatadogRUM
import DatadogLogs

@main class AppDelegate: UIResponder, UIApplicationDelegate {

    func application(
        _ application: UIApplication,
        didFinishLaunchingWithOptions: [UIApplication.LaunchOptionsKey: Any]?
    ) -> Bool {
        Datadog.initialize(
            with: DatadogConfiguration.builder(
                clientToken: "your_client_token",
                environment: "production"
            ).build()
        )
        RUM.enable(
            with: RUMConfiguration(applicationID: "your_rum_app_id")
        )
        return true
    }
}

Datadog Dashboard at Mga Alert

Nagbibigay ang Datadog ng graphic dashboard editor kung saan maaaring pagsamahin ang mga metric graph, log table, treemap ng distribution ng error at SLO widgets. Ang mga dashboard ay sumusuporta sa template variables - halimbawa, maaaring gumawa ng isang dashboard para sa lahat ng serbisyo at ilipat ang konteksto sa pamamagitan ng dropdown list na may pangalan ng serbisyo. Ang bawat dashboard ay maaaring i-publish sa read-only mode para sa mga external na stakeholder sa pamamagitan ng public link.

Ang sistema ng Monitors (mga alert) ay nagpapahintulot sa pag-set ng threshold conditions para sa anumang metric: kung ang latency ay lumampas sa 500 ms nang higit sa 5 minuto - magpadala ng alert sa Slack, PagerDuty o email. Sinusuportahan ng Datadog ang compound conditions: “Kung ang 5xx error > 1% at ang bilang ng request > 1000/min, itaas ang priority sa kritikal”. Para sa mga mobile team, ang regression detection monitor ay lalong kapaki-pakinabang - awtomatikong inihahambing ng Datadog ang kasalukuyang metric sa historical baseline at nag-aalert kapag may statistically significant na pagkasira.

Ayon sa Gartner Peer Insights (2024), ang average na oras ng paglutas ng alert (MTTR) sa mga team na gumagamit ng Datadog monitor na may automatic correlation ay bumababa ng 35% sa unang buwan pagkatapos ng implementasyon. Ito ay nakakamit dahil ang bawat alert ay naglalaman hindi lamang ng trigger condition, kundi pati na rin ng link sa mga kaugnay na dashboard, log at trace - ang developer ay hindi kailangang lumipat sa pagitan ng mga tool.