Image Labeling: wat is het, methoden en werkingsprincipe

Wat is Image Labeling: basis van classificatie

Image Labeling — een subcategorie van beeldclassificatie, waarbij het model een afbeelding ontvangt en kansen retourneert voor elke klasse uit de trainingsset. In tegenstelling tot object detection bepaalt Image Labeling niet de positie van het object in de afbeelding — alleen de aan- of afwezigheid ervan. In tegenstelling tot image segmentation wordt de contour van het object niet gescheiden. Image Labeling lost de vraag “wat staat er op de foto?” op, niet “waar en wat staat er op de foto?”.

Architectuur van de classifier: CNN backbone (MobileNet, ResNet, EfficientNet) extraheert een feature map uit de afbeelding, Global Average Pooling vouwt de ruimtelijke dimensies samen, een volledig verbonden laag (Dense) met Softmax-activatie levert de klassekansen. MobileNetV2 — de populairste backbone voor mobiele apparaten: 3.5M parameters, 0.5–2 ms inferentie op Pixel 6 via GPU. EfficientNet-Lite — een alternatief met een betere ratio nauwkeurigheid/parameters.

Top-1 vs Top-5 accuracy: top-1 — het model raadde de hoofdklasse correct (91% voor ML Kit); top-5 — de juiste klasse bevindt zich in de top vijf meest waarschijnlijke (98% voor ML Kit). Gebruik voor productie-applicaties top-5 en toon de gebruiker meerdere labelvarianten. Voor contentmoderatie — top-1 met een confidence-drempel >= 0.8 (vermindert het aantal fout-positieven met 40%).

On-device vs Cloud: classificatie op het apparaat (ML Kit, Core ML) biedt een latentie van 1–20 ms met volledige gegevensprivacy. Cloud API (Google Cloud Vision, AWS Rekognition) — latentie 500–2000 ms + kosten per aanvraag, maar nauwkeuriger (97–99%) vanwege grotere modellen (ViT, CLIP). Kies voor real-time applicaties (camera, AR) voor on-device. Voor complexe scenario’s (medisch, expertise) — cloud met fallback naar on-device.

ML Kit Image Labeling op Android en iOS

ML Kit Image Labeling — een kant-en-klare bibliotheek van Google voor classificatie van afbeeldingen op het apparaat. Beschikbaar in twee modi: on-device (gratis, 400+ labels, 10–20 ms) en cloud (betaald, 10000+ labels, 500+ ms). De on-device versie gebruikt MobileNetV3 + INT8-kwantificatie, neemt 4 MB schijfruimte in beslag. ML Kit bepaalt automatisch de oriëntatie van de afbeelding en optimaliseert de grootte vóór classificatie.

ML Kit API: InputImage (van Bitmap, media.Image, filePath) → ImageLabeler → OnSuccessListener met een lijst van ImageLabel (label, confidence, index). MillisThreshold (standaard 0.5) — minimale zekerheid voor het retourneren van een label. Het verhogen van de drempel naar 0.7 vermindert het aantal labels per frame, maar verhoogt de nauwkeurigheid van elk label. Stel voor contentmoderatie de drempel in op 0.8.

val labeler = ImageLabeling.getClient(
    ImageLabelerOptions.DEFAULT_OPTIONS
)

labeler.process(inputImage)
    .addOnSuccessListener { labels ->
        labels
            .filter { it.confidence >= 0.7f }
            .forEach { label ->
                log("Label: ${label.label}")
                log("Confidence: ${label.confidence}")
            }
    }
    .addOnFailureListener { error -> handleError(error) }

ML Kit op iOS: API vergelijkbaar met Android, gebruikt UIImage of CMSampleBuffer. ML Kit gebruikt automatisch Core ML + ANE op A12+-apparaten. Voor iOS 16+ biedt ML Kit Image Labeling een latentie van 8–15 ms op iPhone 15 Pro. Stuur de afbeelding in de laagst mogelijke resolutie (224x224 voor MobileNet) om de latentie te minimaliseren — ML Kit schaalt zelf, maar conversie van grote afbeeldingen voegt 2–5 ms overhead toe.

Core ML en Vision Framework op iOS

Core ML — het framework van Apple voor het uitvoeren van ML-modellen op het apparaat. In combinatie met Vision Framework (VNCoreMLRequest) stelt Core ML in staat om afbeeldingen te classificeren met minimale code. Apple biedt ingebouwde modellen: SqueezeNet (5 MB, 80.5% top-1), ResNet50 (98 MB, 95.2%), MobileNetV2 (14 MB, 90.2%). Modellen in .mlmodel of .mlpackage formaat worden via coremltools geconverteerd uit TensorFlow, PyTorch.

VNCoreMLRequest — Vision API die de voorverwerking van de afbeelding (schalen, crop-to-fill, kleurruimteconversie) overneemt en het resultaat aan het model doorgeeft. Vision retourneert VNClassificationObservation met identifier (klassenaam) en confidence (0..1). MaxCandidates — het maximale aantal geretourneerde labels (standaard 1). Gebruik voor classificatie met automatische selectie VNCoreMLRequest met imageCropAndScaleOption = .centerCrop.

guard let model = try? VNCoreMLModel(for: MobileNetV2().model) else { return }
let request = VNCoreMLRequest(model: model) { request, _ in
    guard let results = request.results as? [VNClassificationObservation] else { return }
    results.prefix(5).forEach { obs in
        print("TFLite aangepaste model inferentie")
    }
}
request.imageCropAndScaleOption = .centerCrop

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

Core ML vs ML Kit op iOS: Core ML — native, heeft geen extra SDK’s nodig, is beter geoptimaliseerd voor ANE (Apple’s neurale engine). ML Kit — nauwkeuriger op complexe scènes dankzij Google’s modellen. Core ML ondersteunt alle modellen (geconverteerd via coremltools), ML Kit — alleen zijn eigen modellen. Kies voor snelle implementatie voor ML Kit. Kies voor maximale controle over het model voor Core ML. Praktische keuze: beide frameworks in één app — ML Kit voor standaardlabels, Core ML voor aangepaste labels.

Training en integratie van aangepaste modellen

Aangepaste Image Labeling-modellen — het trainen van een eigen classifier voor een specifieke taak: herkennen van fruitkwaliteit, detecteren van defecten op de productielijn, classificeren van hondenrassen. Het proces omvat het verzamelen van een dataset (1000+ afbeeldingen per klasse), annoteren, trainen via transfer learning op een voorgetrainde MobileNetV2 of EfficientNet, en converteren naar TFLite / Core ML.

Transfer Learning — de belangrijkste methode voor het trainen van mobiele classifiers. Een op ImageNet voorgetraind model wordt genomen, de onderste lagen (CNN backbone) worden bevroren, de bovenste lagen (Fine-tuning) worden opnieuw getraind. Dit vereist slechts 100–500 afbeeldingen per klasse en duurt 1–2 uur op Google Colab (GPU). Bibliotheken: TensorFlow Keras (Android), PyTorch + coremltools (iOS). Resultaat: 95–98% accuracy op de doelklassen.

// Image Labeling met Core ML voor visueel zoeken
val interpreter = Interpreter(loadModelFile(context))
val inputImage = TensorImage.fromBitmap(bitmap)
    .apply { load(Bitmap.createScaledBitmap(bitmap, 224, 224, true)) }

val output = Array(1) { FloatArray(NUM_CLASSES) }
interpreter.run(inputImage.tensorBuffer, output)

val probabilities = TensorLabel.mapIndexToLabels(output[0])
val topClass = probabilities.maxByOrNull { it.value }

ML Kit Custom Model API — alternatief: geen code nodig voor TFLite Interpreter — ML Kit laadt zelf het model en beheert de voorverwerking. Custom Image Labeler accepteert een TFLite-model met invoergrootte 224x224x3 en uitvoer score float[NUM_CLASSES]. Het volstaat om het modelbestand door te geven en standaardlabels te ontvangen. ML Kit Custom Model API wordt aanbevolen als het model voldoet aan het TFLite-formaat. Als fijnere controle over de inferentie vereist is (drempels, threshold per class) — gebruik dan rechtstreeks TFLite Interpreter.

TFLite en Core ML: vergelijking van formaten

TFLite (TensorFlow Lite) — het modelformaat van Google voor mobiele en edge-apparaten. Ondersteunt kwantificatie (FP16, INT8), die de modelgrootte 4x verkleint en de snelheid 2–3x verhoogt ten koste van een klein verlies aan nauwkeurigheid (1–2%). TFLite werkt op Android via GPU Delegate (OpenGL/OpenCL), op iOS — via Core ML Delegate. TFLite Task API biedt een uniforme interface voor Image Classifier, Object Detector en andere taken.

Core ML — het formaat van Apple (.mlpackage — nieuw, .mlmodel — oud). Ondersteunt kwantificatie (FP16), gewichtpalletisatie (weight palettization tot 1/2/4/6/8 bits), wat compressie van het model tot 80% oplevert. Core ML gebruikt ANE (Neural Engine), GPU en CPU — het systeem kiest automatisch de optimale engine. Conversie van PyTorch via torch.onnx.export + coremltools, van TensorFlow — via tf-keras + coremltools. iOS 18+ ondersteunt training op het apparaat via Core ML Training API.

ONNX als tussenformaat: converteer modellen naar ONNX (PyTorch → ONNX, TensorFlow → ONNX) en vervolgens naar TFLite / Core ML via onnx2tf of onnx2coreml. ONNX — een uniform formaat dat wordt ondersteund door 70+ frameworks. Dit vereenvoudigt de pipeline: één getraind model → ONNX → native formaten voor beide platforms. Training in PyTorch + conversie naar ONNX → TFLite (Android) / Core ML (iOS) — de aanbevolen pipeline voor cross-platform projecten.

Toepassing van Image Labeling in apps

Automatisch taggen van foto’s — galerij-apps (Google Photos, Apple Photos) kennen automatisch labels toe aan afbeeldingen: “strand”, “zonsondergang”, “hond”, “eten”. ML Kit Image Labeling verwerkt elke foto uit de galerij op de achtergrond — 1–2 seconden voor 100 foto’s (batch). De gebruiker krijgt zoeken op labels zonder handmatig sorteren. Google Photos gebruikt classificatie op het apparaat met latere serververificatie voor complexe scènes.

Contentmoderatie — automatische detectie van ongewenste afbeeldingen in gebruikerscontent (sociale media, marktplaatsen, UGC-platforms). ML Kit Custom Model detecteert NSFW-content, geweld, propaganda met een nauwkeurigheid van 92–96%. Activeringsdrempel — confidence 0.8. Gebruik een comité van classifiers om fout-positieven (legitieme medische afbeeldingen) te verminderen: Image Labeling + Object Detection + Blur Detection. Moderatie op het apparaat is sneller en beschermt de privacy van gebruikers.

Visueel zoeken naar producten — de gebruiker fotografeert een product (schoenen, tas, meubel), de app bepaalt het label en vindt vergelijkbare producten in de catalogus. Image Labeling beperkt het zoeken tot een categorie, waarna kenmerkdescriptoren (feature vectors) visueel vergelijkbare exemplaren vinden. Pinterest Lens, Google Lens, Amazon StyleSnap gebruiken deze aanpak. Classificatie op het apparaat geeft resultaat in 10–30 ms, cloud — zoeken in de productdatabase in 200–500 ms.

// Image Labeling with Core ML for visual search
let request = VNCoreMLRequest(model: productClassifier) { req, _ in
    guard let result = req.results?.first as? VNClassificationObservation,
          result.confidence > 0.6 else { return }
    SearchService.findSimilarProducts(
        category: result.identifier,
        image: capturedPhoto,
        limit: 10
    ) { products in
        DispatchQueue.main.async {
            self.showResults(products)
        }
    }
}

AR en educatieve apps — Image Labeling classificeert objecten in realtime via de camera. De gebruiker richt de telefoon op een plant — de app toont de naam, verzorging, water geven. Richt op een onderdeel van een mechanisme — legt het doel uit. Vereiste: latentie < 30 ms. EfficientNet-Lite op flagship-apparaten biedt 15–25 ms. Bij weinig licht neemt de nauwkeurigheid af — gebruik een automatische confidence-drempel (verlaag de drempel bij weinig licht om de verminderde invoerkwaliteit te compenseren).