Image Labeling: nedir, yöntemler ve çalışma prensibi

Image Labeling Nedir: Sınıflandırmanın Temelleri

Image Labeling, modelin girdi olarak bir görüntü aldığı ve eğitim kümesindeki her sınıf için olasılıklar döndürdüğü bir görüntü sınıflandırma alt türüdür. Nesne algılamanın aksine, Image Labeling görüntüdeki nesnelerin konumunu belirlemez — yalnızca varlıklarını veya yokluklarını belirler. Görüntü bölütlemenin aksine, nesnenin sınırlarını çizmez. Image Labeling “fotoğrafta ne var?” sorusuna yanıt verir, “fotoğrafta nerede ve ne var?” değil.

Sınıflandırıcı Mimarisi: Bir CNN omurgası (MobileNet, ResNet, EfficientNet) görüntüden özellik haritası çıkarır, Global Average Pooling uzamsal boyutları daraltır ve Softmax aktivasyonlu tam bağlantılı bir katman (Dense) sınıf olasılıklarını üretir. MobileNetV2, mobil cihazlar için en popüler omurgadır: 3,5M parametre, Pixel 6'da GPU üzerinden 0,5–2 ms çıkarım. EfficientNet-Lite, daha iyi doğruluk/parametre oranına sahip bir alternatiftir.

Top-1 ve Top-5 Doğruluğu: top-1 — model ana sınıfı doğru tahmin eder (ML Kit'te %91); top-5 — doğru sınıf en olası beş sınıf arasındadır (ML Kit'te %98). Üretim uygulamaları için top-5 kullanın ve kullanıcıya birden çok etiket seçeneği gösterin. İçerik moderasyonu için, güven eşiği >= 0,8 ile top-1 kullanın (yanlış pozitif oranını %40 azaltır).

Cihaz İçi ve Bulut: cihaz içi sınıflandırma (ML Kit, Core ML), tam veri gizliliği ile 1–20 ms gecikme sağlar. Bulut API (Google Cloud Vision, AWS Rekognition) 500–2000 ms gecikme ve istek başına maliyete sahiptir, ancak daha büyük modeller (ViT, CLIP) sayesinde daha doğrudur (%97–99). Gerçek zamanlı uygulamalar (kamera, AR) için cihaz içi seçeneğini seçin. Karmaşık senaryolar (tıp, uzman analizi) için cihaz içi yedeklemeli bulutu kullanın.

Android ve iOS'ta ML Kit Image Labeling

ML Kit Image Labeling, Google'ın cihaz üzerinde görüntü sınıflandırması için kullanıma hazır kitaplığıdır. İki modda kullanılabilir: cihaz içi (ücretsiz, 400'den fazla etiket, 10–20 ms) ve bulut (ücretli, 10000'den fazla etiket, 500+ ms). Cihaz içi sürüm, INT8 niceleme ile MobileNetV3 kullanır ve diskte 4 MB yer kaplar. ML Kit, görüntü yönünü otomatik olarak algılar ve sınıflandırmadan önce boyutu optimize eder.

ML Kit API: InputImage (Bitmap, media.Image, filePath'ten) → ImageLabeler → ImageLabel (etiket, güven, indeks) listesiyle OnSuccessListener. Güven eşiği (varsayılan 0,5), bir etiketi döndürmek için minimum güvendir. Eşiği 0,7'ye yükseltmek, kare başına etiket sayısını azaltır ancak her birinin doğruluğunu artırır. İçerik moderasyonu için eşiği 0,8 olarak ayarlayın.

val labeler = ImageLabeling.getClient(
    ImageLabelerOptions.DEFAULT_OPTIONS
)

labeler.process(inputImage)
    .addOnSuccessListener { labels ->
        labels
            .filter { it.confidence >= 0.7f }
            .forEach { label ->
                log("Label: ${label.label}")
                log("Confidence: ${label.confidence}")
            }
    }
    .addOnFailureListener { error -> handleError(error) }

iOS'ta ML Kit: API Android'e benzer, UIImage veya CMSampleBuffer kullanır. ML Kit, A12+ cihazlarda otomatik olarak Core ML + ANE kullanır. iOS 16+ için ML Kit Image Labeling, iPhone 15 Pro'da 8–15 ms gecikme sağlar. Gecikmeyi en aza indirmek için mümkün olan en küçük görüntü çözünürlüğünü (MobileNet için 224x224) iletin — ML Kit otomatik olarak ölçekler, ancak büyük görüntüleri dönüştürmek 2–5 ms ek yük ekler.

iOS'ta Core ML ve Vision Framework

Core ML, Apple'ın cihaz üzerinde ML modelleri çalıştırma framework'üdür. Vision Framework (VNCoreMLRequest) ile birleştirildiğinde, Core ML minimum kodla görüntü sınıflandırması sağlar. Apple yerleşik modeller sunar: SqueezeNet (5 MB, %80,5 top-1), ResNet50 (98 MB, %95,2), MobileNetV2 (14 MB, %90,2). .mlmodel veya .mlpackage formatındaki modeller, TensorFlow veya PyTorch'tan coremltools aracılığıyla dönüştürülür.

VNCoreMLRequest, görüntü ön işlemesini (ölçekleme, kırpma, renk uzayı dönüşümü) yöneten ve sonucu modele ileten bir Vision API'sidir. Vision, identifier (sınıf adı) ve confidence (0..1) ile VNClassificationObservation döndürür. MaxCandidates, döndürülen maksimum etiket sayısıdır (varsayılan 1). Otomatik seçim sınıflandırması için imageCropAndScaleOption = .centerCrop ile VNCoreMLRequest kullanın.

guard let model = try? VNCoreMLModel(for: MobileNetV2().model) else { return }
let request = VNCoreMLRequest(model: model) { request, _ in
    guard let results = request.results as? [VNClassificationObservation] else { return }
    results.prefix(5).forEach { obs in
        print("Etiket: \(obs.identifier), Güven: \(obs.confidence)")
    }
}
request.imageCropAndScaleOption = .centerCrop

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

iOS'ta Core ML vs ML Kit: Core ML yereldir, ek SDK gerektirmez ve ANE (Apple Neural Engine) için daha iyi optimize edilmiştir. ML Kit, Google'ın modelleri sayesinde karmaşık sahnelerde daha doğrudur. Core ML herhangi bir modeli (coremltools ile dönüştürülmüş) desteklerken, ML Kit yalnızca kendi modellerini destekler. Hızlı uygulama için ML Kit kullanın. Maksimum model kontrolü için Core ML kullanın. Pratik bir yaklaşım: tek bir uygulamada her iki framework'ü de kullanın — standart etiketler için ML Kit, özel etiketler için Core ML.

Özel Modellerin Eğitimi ve Entegrasyonu

Özel Image Labeling Modelleri — belirli bir görev için kendi sınıflandırıcınızı eğitmek: meyve kalitesi tanıma, üretim hattındaki kusurları tespit etme, köpek ırklarını sınıflandırma. Süreç, veri kümesi toplama (sınıf başına 1000'den fazla görüntü), açıklama ekleme, önceden eğitilmiş MobileNetV2 veya EfficientNet üzerinde transfer öğrenme yoluyla eğitim ve TFLite / Core ML'ye dönüştürmeyi içerir.

Transfer Öğrenme — mobil sınıflandırıcıları eğitmenin ana yöntemidir. ImageNet'te önceden eğitilmiş bir model alınır, alt katmanlar (CNN omurgası) dondurulur ve üst katmanlar yeniden eğitilir (ince ayar). Bu, sınıf başına yalnızca 100–500 görüntü gerektirir ve Google Colab'da (GPU) 1–2 saat sürer. Kitaplıklar: TensorFlow Keras (Android), PyTorch + coremltools (iOS). Sonuç: hedef sınıflarda %95–98 doğruluk.

// TFLite özel model çıkarımı
val interpreter = Interpreter(loadModelFile(context))
val inputImage = TensorImage.fromBitmap(bitmap)
    .apply { load(Bitmap.createScaledBitmap(bitmap, 224, 224, true)) }

val output = Array(1) { FloatArray(NUM_CLASSES) }
interpreter.run(inputImage.tensorBuffer, output)

val probabilities = TensorLabel.mapIndexToLabels(output[0])
val topClass = probabilities.maxByOrNull { it.value }

ML Kit Custom Model API — bir alternatif: TFLite Interpreter kodu yazmaya gerek yok — ML Kit modeli yükler ve ön işlemeyi otomatik olarak halleder. Özel Image Labeler, giriş boyutu 224x224x3 ve çıkış score float[NUM_CLASSES] olan bir TFLite modelini kabul eder. Sadece model dosyasını sağlayın ve standart etiketleri alın. Model TFLite formatına uyuyorsa ML Kit Custom Model API önerilir. Çıkarım üzerinde daha ince kontrole ihtiyaç duyulursa (sınıf başına eşik), doğrudan TFLite Interpreter kullanın.

TFLite ve Core ML: Format Karşılaştırması

TFLite (TensorFlow Lite), Google'ın mobil ve uç cihazlar için model formatıdır. Nicelemeyi (FP16, INT8) destekler, bu da model boyutunu 4 kat azaltır ve hızı 2–3 kat artırır, hafif bir doğruluk kaybıyla (%1–2). TFLite, Android'de GPU Delegate (OpenGL/OpenCL) ve iOS'ta Core ML Delegate aracılığıyla çalışır. TFLite Task API, Image Classifier, Object Detector ve diğer görevler için birleşik bir arayüz sağlar.

Core ML, Apple'ın formatıdır (.mlpackage — yeni, .mlmodel — eski). Nicelemeyi (FP16) ve ağırlık paletlemesini (1/2/4/6/8 bit'e kadar) destekler ve %80'e kadar model sıkıştırması sağlar. Core ML, ANE (Neural Engine), GPU ve CPU kullanır — sistem otomatik olarak en uygun motoru seçer. PyTorch'tan torch.onnx.export + coremltools aracılığıyla, TensorFlow'dan tf-keras + coremltools aracılığıyla dönüştürme. iOS 18+, Core ML Training API aracılığıyla cihaz üzerinde eğitimi destekler.

ONNX Ara Format Olarak: modelleri ONNX'e (PyTorch → ONNX, TensorFlow → ONNX) ve ardından onnx2tf veya onnx2coreml aracılığıyla TFLite / Core ML'ye dönüştürün. ONNX, 70'ten fazla framework tarafından desteklenen birleşik bir formattır. Bu, boru hattını basitleştirir: eğitilmiş bir model → ONNX → her iki platform için yerel formatlar. Çapraz platform projeleri için PyTorch'ta eğitim + ONNX'a dönüştürme → TFLite (Android) / Core ML (iOS) önerilen boru hattıdır.

Mobil Uygulamalarda Image Labeling Kullanım Alanları

Fotoğrafların Otomatik Etiketlenmesi — galeri uygulamaları (Google Fotoğraflar, Apple Fotoğraflar) görüntülere otomatik olarak etiket atar: “plaj”, “gün batımı”, “köpek”, “yiyecek”. ML Kit Image Labeling, galerideki her fotoğrafı arka planda işler — 100 fotoğraf için 1–2 saniye (toplu). Kullanıcı, manuel sıralama olmadan etiketlere göre arama yapabilir. Google Fotoğraflar, karmaşık sahneler için cihaz içi sınıflandırmayı ve ardından sunucu doğrulamasını kullanır.

İçerik Moderasyonu — kullanıcı içeriğinde (sosyal ağlar, pazaryerleri, UGC platformları) istenmeyen görüntülerin otomatik tespiti. ML Kit Custom Model, NSFW içeriğini, şiddeti ve propagandayı %92–96 doğrulukla tespit eder. Tetikleme eşiği — güven 0,8. Yanlış pozitifleri (meşru tıbbi görüntüler) azaltmak için bir sınıflandırıcı komitesi kullanın: Image Labeling + Object Detection + Blur Detection. Cihaz içi moderasyon daha hızlıdır ve kullanıcı gizliliğini korur.

Görsel Ürün Arama — kullanıcı bir ürünün (spor ayakkabı, çanta, mobilya) fotoğrafını çeker, uygulama etiketi belirler ve katalogda benzer ürünler bulur. Image Labeling aramayı bir kategoriye daraltır, ardından özellik tanımlayıcıları (özellik vektörleri) görsel olarak benzer öğeleri bulur. Pinterest Lens, Google Lens ve Amazon StyleSnap bu yaklaşımı kullanır. Cihaz içi sınıflandırma 10–30 ms'de sonuç verir, bulut arama — 200–500 ms'de.

// Görsel arama için Core ML ile Image Labeling
let request = VNCoreMLRequest(model: productClassifier) { req, _ in
    guard let result = req.results?.first as? VNClassificationObservation,
          result.confidence > 0.6 else { return }
    SearchService.findSimilarProducts(
        category: result.identifier,
        image: capturedPhoto,
        limit: 10
    ) { products in
        DispatchQueue.main.async {
            self.showResults(products)
        }
    }
}

AR ve Eğitim Uygulamaları — Image Labeling, kamera aracılığıyla gerçek zamanlı olarak nesneleri sınıflandırır. Kullanıcı telefonunu bir bitkiye doğrultur — uygulama adı, bakım talimatları ve sulama programını gösterir. Mekanik bir parçaya doğrultur — amacını açıklar. Gereksinim: gecikme < 30 ms. Amiral gemisi cihazlarda EfficientNet-Lite 15–25 ms sağlar. Düşük ışıkta doğruluk düşer — uyarlanabilir bir güven eşiği kullanın (giriş kalitesindeki düşüşü telafi etmek için düşük ışıkta eşiği düşürün).