Image Labeling: шта је то, методе и принцип рада

Шта је Image Labeling: основе класификације

Image Labeling — подврста класификације слика, где модел прима слику и враћа вероватноће за сваку класу из скупа за обуку. За разлику од object detection-а, Image Labeling не одређује положај објекта на слици — само његово присуство или одсуство. За разлику од image segmentation-а, не издваја контуру објекта. Image Labeling решава питање “шта је на фотографији?”, а не “где и шта је на фотографији?”.

Архитектура класификатора: CNN backbone (MobileNet, ResNet, EfficientNet) извлачи мапу карактеристика из слике, Global Average Pooling сажима просторне димензије, потпуно повезани слој (Dense) са Softmax активацијом даје вероватноће класа. MobileNetV2 — најпопуларнији backbone за мобилне уређаје: 3.5M параметара, 0.5–2 ms закључивања на Pixel 6 преко GPU-а. EfficientNet-Lite — алтернатива са бољим односом accuracy/параметри.

Top-1 vs Top-5 accuracy: top-1 — модел је тачно погодио главну класу (91% за ML Kit); top-5 — тачна класа се налази у пет највероватнијих (98% за ML Kit). За производне апликације користите top-5 и покажите кориснику неколико варијанти ознака. За модерирање садржаја — top-1 са прагом confidence >= 0.8 (смањује стопу лажно позитивних за 40%).

On-device vs Cloud: класификација на уређају (ML Kit, Core ML) даје кашњење 1–20 ms са потпуном приватношћу података. Cloud API (Google Cloud Vision, AWS Rekognition) — кашњење 500–2000 ms + трошак по захтеву, али прецизнији (97–99%) захваљујући већим моделима (ViT, CLIP). За апликације у реалном времену (камера, AR) бирајте on-device. За сложене сценарије (медицина, експертиза) — cloud са fallback-ом на on-device.

ML Kit Image Labeling на Android-у и iOS-у

ML Kit Image Labeling — готова библиотека од Google-а за класификацију слика на уређају. Доступна у два режима: on-device (бесплатно, 400+ ознака, 10–20 ms) и cloud (платно, 10000+ ознака, 500+ ms). On-device верзија користи MobileNetV3 + INT8 квантовање, заузима 4 MB на диску. ML Kit аутоматски одређује оријентацију слике и оптимизује величину пре класификације.

ML Kit API: InputImage (из Bitmap, media.Image, filePath) → ImageLabeler → OnSuccessListener са листом ImageLabel (label, confidence, index). MillisThreshold (подразумевано 0.5) — минимална сигурност за враћање ознаке. Подизање прага на 0.7 смањује број ознака по кадру, али повећава прецизност сваке. За модерирање садржаја поставите праг на 0.8.

val labeler = ImageLabeling.getClient(
    ImageLabelerOptions.DEFAULT_OPTIONS
)

labeler.process(inputImage)
    .addOnSuccessListener { labels ->
        labels
            .filter { it.confidence >= 0.7f }
            .forEach { label ->
                log("Label: ${label.label}")
                log("Confidence: ${label.confidence}")
            }
    }
    .addOnFailureListener { error -> handleError(error) }

ML Kit на iOS-у: API сличан Android-у, користи UIImage или CMSampleBuffer. ML Kit аутоматски користи Core ML + ANE на уређајима A12+. За iOS 16+, ML Kit Image Labeling даје кашњење 8–15 ms на iPhone 15 Pro. За минимално кашњење, пошаљите слику у најмањој могућој резолуцији (224x224 за MobileNet) — ML Kit сам скалира, али конверзија великих слика додаје 2–5 ms додатног оптерећења.

Core ML и Vision Framework на iOS-у

Core ML — Apple-ов оквир за покретање ML модела на уређају. У пару са Vision Framework-ом (VNCoreMLRequest), Core ML омогућава класификацију слика са минималним кодом. Apple пружа уграђене моделе: SqueezeNet (5 MB, 80.5% top-1), ResNet50 (98 MB, 95.2%), MobileNetV2 (14 MB, 90.2%). Модели у формату .mlmodel или .mlpackage се конвертују преко coremltools из TensorFlow, PyTorch-а.

VNCoreMLRequest — Vision API који преузима предобраду слике (скалирање, crop-to-fill, конверзију простора боја) и прослеђује резултат моделу. Vision враћа VNClassificationObservation са identifier (назив класе) и confidence (0..1). MaxCandidates — максималан број враћених ознака (подразумевано 1). За класификацију са аутоматским одабиром користите VNCoreMLRequest са imageCropAndScaleOption = .centerCrop.

guard let model = try? VNCoreMLModel(for: MobileNetV2().model) else { return }
let request = VNCoreMLRequest(model: model) { request, _ in
    guard let results = request.results as? [VNClassificationObservation] else { return }
    results.prefix(5).forEach { obs in
        print("TFLite прилагођено закључивање модела")
    }
}
request.imageCropAndScaleOption = .centerCrop

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

Core ML vs ML Kit на iOS-у: Core ML — изворни, не захтева додатне SDK-ове, боље оптимизован за ANE (Apple-ов неуронски мотор). ML Kit — прецизнији на сложеним сценама захваљујући Google-овим моделима. Core ML подржава било које моделе (конвертоване преко coremltools), ML Kit — само своје. За брзину имплементације — ML Kit. За максималну контролу над моделом — Core ML. Практичан избор: оба оквира у једној апликацији — ML Kit за стандардне ознаке, Core ML за прилагођене.

Обука и интеграција прилагођених модела

Прилагођени Image Labeling модели — обука сопственог класификатора за специфичан задатак: препознавање квалитета воћа, детекција дефеката на производној линији, класификација раса паса. Процес укључује прикупљање скупа података (1000+ слика по класи), означавање, обуку трансферним учењем (transfer learning) на предобученом MobileNetV2 или EfficientNet-у и конверзију у TFLite / Core ML.

Transfer Learning — главни метод обуке мобилних класификатора. Узима се модел предобучен на ImageNet-у, замрзавају се доњи слојеви (CNN backbone), преобучавају се горњи слојеви (Fine-tuning). Ово захтева само 100–500 слика по класи и траје 1–2 сата на Google Colab-у (GPU). Библиотеке: TensorFlow Keras (Android), PyTorch + coremltools (iOS). Резултат: 95–98% accuracy на циљаним класама.

// Image Labeling са Core ML-ом за визуелну претрагу
val interpreter = Interpreter(loadModelFile(context))
val inputImage = TensorImage.fromBitmap(bitmap)
    .apply { load(Bitmap.createScaledBitmap(bitmap, 224, 224, true)) }

val output = Array(1) { FloatArray(NUM_CLASSES) }
interpreter.run(inputImage.tensorBuffer, output)

val probabilities = TensorLabel.mapIndexToLabels(output[0])
val topClass = probabilities.maxByOrNull { it.value }

ML Kit Custom Model API — алтернатива: није потребно писати код за TFLite Interpreter — ML Kit сам учитава модел и управља предобрадом. Custom Image Labeler прихвата TFLite модел са улазном величином 224x224x3 и излазом score float[NUM_CLASSES]. Довољно је проследити датотеку модела и добити стандардне ознаке. ML Kit Custom Model API се препоручује ако модел одговара TFLite формату. Ако је потребна финија контрола над закључивањем (прагови, threshold per class) — користите TFLite Interpreter директно.

TFLite и Core ML: поређење формата

TFLite (TensorFlow Lite) — Google-ов формат модела за мобилне и edge уређаје. Подржава квантовање (FP16, INT8), које смањује величину модела 4 пута и повећава брзину 2–3x уз мали губитак прецизности (1–2%). TFLite ради на Android-у преко GPU Delegate (OpenGL/OpenCL), на iOS-у — преко Core ML Delegate-а. TFLite Task API пружа јединствени интерфејс за Image Classifier, Object Detector и друге задатке.

Core ML — Apple-ов формат (.mlpackage — нови, .mlmodel — стари). Подржава квантовање (FP16), палетизацију тежина (weight palettization до 1/2/4/6/8 бита), што даје компресију модела до 80%. Core ML користи ANE (Neural Engine), GPU и CPU — систем аутоматски бира оптимални мотор. Конверзија из PyTorch-а преко torch.onnx.export + coremltools, из TensorFlow-а — преко tf-keras + coremltools. iOS 18+ подржава обуку на уређају преко Core ML Training API-ја.

ONNX као посредни формат: конвертујте моделе у ONNX (PyTorch → ONNX, TensorFlow → ONNX) и затим у TFLite / Core ML преко onnx2tf или onnx2coreml. ONNX — јединствени формат који подржава 70+ оквира. Ово поједностављује pipeline: један обучени модел → ONNX → изворни формати за обе платформе. Обука у PyTorch-у + конверзија у ONNX → TFLite (Android) / Core ML (iOS) — препоручени pipeline за вишeплатформске пројекте.

Примена Image Labeling-а у апликацијама

Аутоматско означавање фотографија — галеријске апликације (Google Photos, Apple Photos) аутоматски додељују ознаке сликама: “плажа”, “залазак сунца”, “пас”, “храна”. ML Kit Image Labeling обрађује сваку фотографију из галерије у позадини — 1–2 секунде за 100 фотографија (batch). Корисник добија претрагу по ознакама без ручног сортирања. Google Photos користи класификацију на уређају са накнадном серверском верификацијом за сложене сцене.

Модерирање садржаја — аутоматско откривање нежељених слика у корисничком садржају (друштвене мреже, маркетплејси, UGC платформе). ML Kit Custom Model детектује NSFW садржај, насиље, пропаганду са прецизношћу 92–96%. Праг активирања — confidence 0.8. За смањење лажно позитивних (легалне медицинске слике) користите комитет класификатора: Image Labeling + Object Detection + Blur Detection. Модерирање на уређају је брже и штити приватност корисника.

Визуелна претрага производа — корисник фотографише производ (патике, торба, намештај), апликација одређује ознаку и проналази сличне производе у каталогу. Image Labeling сужава претрагу на категорију, затим дескриптори карактеристика (feature vectors) проналазе визуелно сличне примерке. Pinterest Lens, Google Lens, Amazon StyleSnap користе овај приступ. Класификација на уређају даје резултат за 10–30 ms, cloud — претрага базе производа за 200–500 ms.

// Image Labeling with Core ML for visual search
let request = VNCoreMLRequest(model: productClassifier) { req, _ in
    guard let result = req.results?.first as? VNClassificationObservation,
          result.confidence > 0.6 else { return }
    SearchService.findSimilarProducts(
        category: result.identifier,
        image: capturedPhoto,
        limit: 10
    ) { products in
        DispatchQueue.main.async {
            self.showResults(products)
        }
    }
}

AR и образовне апликације — Image Labeling класификује објекте у реалном времену путем камере. Корисник усмери телефон ка биљци — апликација приказује назив, негу, заливање. Усмери ка делу механизма — објашњава намену. Захтев: кашњење < 30 ms. EfficientNet-Lite на водећим уређајима даје 15–25 ms. При слабом осветљењу прецизност опада — користите аутоматски праг confidence (смањите праг при слабом светлу да бисте компензовали пад квалитета улаза).