Image Labeling: apa itu, metode dan cara kerja

Apa itu Image Labeling: dasar klasifikasi

Image Labeling — subkategori klasifikasi gambar, di mana model menerima gambar dan mengembalikan probabilitas untuk setiap kelas dari set pelatihan. Tidak seperti object detection, Image Labeling tidak menentukan posisi objek dalam gambar — hanya keberadaan atau ketiadaannya. Tidak seperti image segmentation, tidak memisahkan kontur objek. Image Labeling menjawab pertanyaan “apa yang ada di foto?”, bukan “di mana dan apa yang ada di foto?”.

Arsitektur pengklasifikasi: CNN backbone (MobileNet, ResNet, EfficientNet) mengekstrak peta fitur dari gambar, Global Average Pooling menggabungkan dimensi spasial, lapisan terhubung penuh (Dense) dengan aktivasi Softmax menghasilkan probabilitas kelas. MobileNetV2 — backbone paling populer untuk perangkat mobile: 3.5M parameter, inferensi 0.5–2 ms di Pixel 6 melalui GPU. EfficientNet-Lite — alternatif dengan rasio accuracy/parameter yang lebih baik.

Top-1 vs Top-5 accuracy: top-1 — model menebak kelas utama dengan benar (91% untuk ML Kit); top-5 — kelas yang benar berada di lima besar paling mungkin (98% untuk ML Kit). Untuk aplikasi produksi gunakan top-5 dan tampilkan beberapa varian label kepada pengguna. Untuk moderasi konten — top-1 dengan ambang confidence >= 0.8 (mengurangi tingkat false positive sebesar 40%).

On-device vs Cloud: klasifikasi di perangkat (ML Kit, Core ML) memberikan latensi 1–20 ms dengan privasi data penuh. Cloud API (Google Cloud Vision, AWS Rekognition) — latensi 500–2000 ms + biaya per permintaan, tetapi lebih akurat (97–99%) berkat model yang lebih besar (ViT, CLIP). Untuk aplikasi real-time (kamera, AR) pilih on-device. Untuk skenario kompleks (medis, keahlian) — cloud dengan fallback ke on-device.

ML Kit Image Labeling di Android dan iOS

ML Kit Image Labeling — pustaka siap pakai dari Google untuk klasifikasi gambar di perangkat. Tersedia dalam dua mode: on-device (gratis, 400+ label, 10–20 ms) dan cloud (berbayar, 10000+ label, 500+ ms). Versi on-device menggunakan MobileNetV3 + kuantisasi INT8, memakan 4 MB di disk. ML Kit secara otomatis menentukan orientasi gambar dan mengoptimalkan ukuran sebelum klasifikasi.

ML Kit API: InputImage (dari Bitmap, media.Image, filePath) → ImageLabeler → OnSuccessListener dengan daftar ImageLabel (label, confidence, index). MillisThreshold (default 0.5) — keyakinan minimum untuk mengembalikan label. Menaikkan ambang ke 0.7 mengurangi jumlah label per frame, tetapi meningkatkan akurasi setiap label. Untuk moderasi konten, atur ambang ke 0.8.

val labeler = ImageLabeling.getClient(
    ImageLabelerOptions.DEFAULT_OPTIONS
)

labeler.process(inputImage)
    .addOnSuccessListener { labels ->
        labels
            .filter { it.confidence >= 0.7f }
            .forEach { label ->
                log("Label: ${label.label}")
                log("Confidence: ${label.confidence}")
            }
    }
    .addOnFailureListener { error -> handleError(error) }

ML Kit di iOS: API mirip dengan Android, menggunakan UIImage atau CMSampleBuffer. ML Kit secara otomatis menggunakan Core ML + ANE pada perangkat A12+. Untuk iOS 16+, ML Kit Image Labeling memberikan latensi 8–15 ms di iPhone 15 Pro. Untuk meminimalkan latensi, kirim gambar dengan resolusi serendah mungkin (224x224 untuk MobileNet) — ML Kit akan menskalakan sendiri, tetapi konversi gambar besar menambah overhead 2–5 ms.

Core ML dan Vision Framework di iOS

Core ML — framework Apple untuk menjalankan model ML di perangkat. Bersama dengan Vision Framework (VNCoreMLRequest), Core ML memungkinkan klasifikasi gambar dengan kode minimal. Apple menyediakan model bawaan: SqueezeNet (5 MB, 80.5% top-1), ResNet50 (98 MB, 95.2%), MobileNetV2 (14 MB, 90.2%). Model dalam format .mlmodel atau .mlpackage dikonversi melalui coremltools dari TensorFlow, PyTorch.

VNCoreMLRequest — Vision API yang menangani pra-pemrosesan gambar (penskalaan, crop-to-fill, konversi ruang warna) dan meneruskan hasilnya ke model. Vision mengembalikan VNClassificationObservation dengan identifier (nama kelas) dan confidence (0..1). MaxCandidates — jumlah maksimum label yang dikembalikan (default 1). Untuk klasifikasi dengan pemilihan otomatis, gunakan VNCoreMLRequest dengan imageCropAndScaleOption = .centerCrop.

guard let model = try? VNCoreMLModel(for: MobileNetV2().model) else { return }
let request = VNCoreMLRequest(model: model) { request, _ in
    guard let results = request.results as? [VNClassificationObservation] else { return }
    results.prefix(5).forEach { obs in
        print("Inferensi model kustom TFLite")
    }
}
request.imageCropAndScaleOption = .centerCrop

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

Core ML vs ML Kit di iOS: Core ML — native, tidak memerlukan SDK tambahan, lebih dioptimalkan untuk ANE (mesin neural Apple). ML Kit — lebih akurat pada pemandangan kompleks berkat model Google. Core ML mendukung model apa pun (dikonversi melalui coremltools), ML Kit — hanya modelnya sendiri. Untuk implementasi cepat — ML Kit. Untuk kontrol maksimal atas model — Core ML. Pilihan praktis: kedua framework dalam satu aplikasi — ML Kit untuk label standar, Core ML untuk label kustom.

Pelatihan dan integrasi model kustom

Model kustom Image Labeling — melatih pengklasifikasi sendiri untuk tugas spesifik: mengenali kualitas buah, mendeteksi cacat di jalur produksi, mengklasifikasikan ras anjing. Prosesnya meliputi pengumpulan dataset (1000+ gambar per kelas), anotasi, pelatihan melalui transfer learning pada MobileNetV2 atau EfficientNet yang sudah dilatih sebelumnya, dan konversi ke TFLite / Core ML.

Transfer Learning — metode utama pelatihan pengklasifikasi mobile. Model yang sudah dilatih sebelumnya di ImageNet diambil, lapisan bawah (CNN backbone) dibekukan, lapisan atas (Fine-tuning) dilatih ulang. Ini hanya membutuhkan 100–500 gambar per kelas dan memakan waktu 1–2 jam di Google Colab (GPU). Pustaka: TensorFlow Keras (Android), PyTorch + coremltools (iOS). Hasil: 95–98% accuracy pada kelas target.

// Image Labeling dengan Core ML untuk pencarian visual
val interpreter = Interpreter(loadModelFile(context))
val inputImage = TensorImage.fromBitmap(bitmap)
    .apply { load(Bitmap.createScaledBitmap(bitmap, 224, 224, true)) }

val output = Array(1) { FloatArray(NUM_CLASSES) }
interpreter.run(inputImage.tensorBuffer, output)

val probabilities = TensorLabel.mapIndexToLabels(output[0])
val topClass = probabilities.maxByOrNull { it.value }

ML Kit Custom Model API — alternatif: tidak perlu menulis kode untuk TFLite Interpreter — ML Kit sendiri memuat model dan menangani pra-pemrosesan. Custom Image Labeler menerima model TFLite dengan ukuran input 224x224x3 dan output score float[NUM_CLASSES]. Cukup dengan memberikan file model dan menerima label standar. ML Kit Custom Model API direkomendasikan jika model sesuai dengan format TFLite. Jika diperlukan kontrol yang lebih halus atas inferensi (ambang batas, threshold per class) — gunakan TFLite Interpreter secara langsung.

TFLite dan Core ML: perbandingan format

TFLite (TensorFlow Lite) — format model Google untuk perangkat mobile dan edge. Mendukung kuantisasi (FP16, INT8), yang mengurangi ukuran model 4 kali lipat dan meningkatkan kecepatan 2–3x dengan mengorbankan sedikit akurasi (1–2%). TFLite berfungsi di Android melalui GPU Delegate (OpenGL/OpenCL), di iOS — melalui Core ML Delegate. TFLite Task API menyediakan antarmuka terpadu untuk Image Classifier, Object Detector, dan tugas lainnya.

Core ML — format Apple (.mlpackage — baru, .mlmodel — lama). Mendukung kuantisasi (FP16), paletisasi bobot (weight palettization hingga 1/2/4/6/8 bit), yang memberikan kompresi model hingga 80%. Core ML menggunakan ANE (Neural Engine), GPU, dan CPU — sistem secara otomatis memilih mesin yang optimal. Konversi dari PyTorch melalui torch.onnx.export + coremltools, dari TensorFlow — melalui tf-keras + coremltools. iOS 18+ mendukung pelatihan di perangkat melalui Core ML Training API.

ONNX sebagai format perantara: konversikan model ke ONNX (PyTorch → ONNX, TensorFlow → ONNX) dan kemudian ke TFLite / Core ML melalui onnx2tf atau onnx2coreml. ONNX — format terpadu yang didukung oleh 70+ framework. Ini menyederhanakan pipeline: satu model terlatih → ONNX → format native untuk kedua platform. Pelatihan di PyTorch + konversi ke ONNX → TFLite (Android) / Core ML (iOS) — pipeline yang direkomendasikan untuk proyek lintas platform.

Penerapan Image Labeling dalam aplikasi

Penandaan otomatis foto — aplikasi galeri (Google Photos, Apple Photos) secara otomatis menetapkan label ke gambar: “pantai”, “senja”, “anjing”, “makanan”. ML Kit Image Labeling memproses setiap foto dari galeri di latar belakang — 1–2 detik untuk 100 foto (batch). Pengguna mendapatkan pencarian berdasarkan label tanpa penyortiran manual. Google Photos menggunakan klasifikasi di perangkat dengan verifikasi server selanjutnya untuk pemandangan kompleks.

Moderasi konten — deteksi otomatis gambar yang tidak diinginkan dalam konten pengguna (media sosial, marketplace, platform UGC). ML Kit Custom Model mendeteksi konten NSFW, kekerasan, propaganda dengan akurasi 92–96%. Ambang aktivasi — confidence 0.8. Untuk mengurangi false positive (gambar medis yang sah) gunakan komite pengklasifikasi: Image Labeling + Object Detection + Blur Detection. Moderasi di perangkat lebih cepat dan melindungi privasi pengguna.

Pencarian visual produk — pengguna memotret produk (sepatu, tas, furnitur), aplikasi menentukan label dan menemukan produk serupa di katalog. Image Labeling mempersempit pencarian ke kategori, kemudian deskriptor fitur (feature vectors) menemukan instance yang serupa secara visual. Pinterest Lens, Google Lens, Amazon StyleSnap menggunakan pendekatan ini. Klasifikasi di perangkat memberikan hasil dalam 10–30 ms, cloud — pencarian di database produk dalam 200–500 ms.

// Image Labeling with Core ML for visual search
let request = VNCoreMLRequest(model: productClassifier) { req, _ in
    guard let result = req.results?.first as? VNClassificationObservation,
          result.confidence > 0.6 else { return }
    SearchService.findSimilarProducts(
        category: result.identifier,
        image: capturedPhoto,
        limit: 10
    ) { products in
        DispatchQueue.main.async {
            self.showResults(products)
        }
    }
}

AR dan aplikasi pendidikan — Image Labeling mengklasifikasikan objek secara real-time melalui kamera. Pengguna mengarahkan ponsel ke tanaman — aplikasi menampilkan nama, perawatan, penyiraman. Mengarahkan ke bagian mekanisme — menjelaskan tujuannya. Persyaratan: latensi < 30 ms. EfficientNet-Lite pada perangkat flagship memberikan 15–25 ms. Dalam cahaya redup, akurasi menurun — gunakan ambang confidence otomatis (turunkan ambang saat cahaya redup untuk mengkompensasi penurunan kualitas input).