Image Labeling：什么是图像标注、方法及工作原理

什么是Image Labeling：分类基础

Image Labeling — 是图像分类的一个子类别，模型接收图像并返回训练集中每个类别的概率。与目标检测不同，Image Labeling不确定对象在图像中的位置——仅确定其存在与否。与图像分割不同，它不分离对象的轮廓。Image Labeling回答“照片中有什么？”的问题，而不是“照片中在哪里有什么？”。

分类器架构：CNN骨干网络（MobileNet、ResNet、EfficientNet）从图像中提取特征图，全局平均池化压缩空间维度，全连接层（Dense）配合Softmax激活输出类别概率。MobileNetV2 — 最流行的移动设备骨干网络：350万个参数，在Pixel 6上通过GPU进行0.5–2毫秒推理。EfficientNet-Lite — 具有更好准确率/参数比的替代方案。

Top-1与Top-5准确率：top-1 — 模型正确猜出主要类别（ML Kit为91%）；top-5 — 正确类别位于前五个最可能类别中（ML Kit为98%）。对于生产应用，使用top-5并向用户显示多个标签变体。对于内容审核 — 使用置信度阈值>=0.8的top-1（将误报率降低40%）。

设备端与云端：设备端分类（ML Kit、Core ML）提供1–20毫秒延迟并完全保护数据隐私。云端API（Google Cloud Vision、AWS Rekognition）——延迟500–2000毫秒+每次请求费用，但由于模型更大（ViT、CLIP）而更准确（97–99%）。对于实时应用（相机、AR），选择设备端。对于复杂场景（医疗、专家鉴定）——云端，并回退到设备端。

Android和iOS上的ML Kit Image Labeling

ML Kit Image Labeling — Google提供的用于设备上图像分类的现成库。有两种模式：设备端（免费，400+标签，10–20毫秒）和云端（付费，10000+标签，500+毫秒）。设备端版本使用MobileNetV3 + INT8量化，占用磁盘4 MB。ML Kit自动确定图像方向并在分类前优化大小。

ML Kit API：InputImage（来自Bitmap、media.Image、filePath）→ ImageLabeler → 带有ImageLabel列表的OnSuccessListener（标签、置信度、索引）。MillisThreshold（默认为0.5）——返回标签的最低置信度。将阈值提高到0.7可减少每帧的标签数量，但提高每个标签的准确性。对于内容审核，将阈值设置为0.8。

val labeler = ImageLabeling.getClient(
    ImageLabelerOptions.DEFAULT_OPTIONS
)

labeler.process(inputImage)
    .addOnSuccessListener { labels ->
        labels
            .filter { it.confidence >= 0.7f }
            .forEach { label ->
                log("Label: ${label.label}")
                log("Confidence: ${label.confidence}")
            }
    }
    .addOnFailureListener { error -> handleError(error) }

iOS上的ML Kit：API与Android类似，使用UIImage或CMSampleBuffer。ML Kit在A12+设备上自动使用Core ML + ANE。对于iOS 16+，ML Kit Image Labeling在iPhone 15 Pro上提供8–15毫秒延迟。为最小化延迟，以尽可能低的分辨率发送图像（MobileNet为224x224）——ML Kit会自动缩放，但大图像的转换会增加2–5毫秒的开销。

iOS上的Core ML和Vision Framework

Core ML — Apple用于在设备上运行ML模型的框架。与Vision Framework（VNCoreMLRequest）结合，Core ML可以用最少的代码对图像进行分类。Apple提供内置模型：SqueezeNet（5 MB，80.5% top-1）、ResNet50（98 MB，95.2%）、MobileNetV2（14 MB，90.2%）。.mlmodel或.mlpackage格式的模型通过coremltools从TensorFlow、PyTorch转换而来。

VNCoreMLRequest — Vision API，负责图像预处理（缩放、裁剪填充、色彩空间转换）并将结果传递给模型。Vision返回带有标识符（类名）和置信度（0..1）的VNClassificationObservation。MaxCandidates — 返回的最大标签数量（默认为1）。对于自动选择的分类，使用imageCropAndScaleOption = .centerCrop的VNCoreMLRequest。

guard let model = try? VNCoreMLModel(for: MobileNetV2().model) else { return }
let request = VNCoreMLRequest(model: model) { request, _ in
    guard let results = request.results as? [VNClassificationObservation] else { return }
    results.prefix(5).forEach { obs in
        print("TFLite自定义模型推理")
    }
}
request.imageCropAndScaleOption = .centerCrop

let handler = VNImageRequestHandler(cgImage: cgImage, options: [:])
try handler.perform([request])

iOS上的Core ML与ML Kit：Core ML — 原生，不需要额外的SDK，针对ANE（Apple神经引擎）进行了更好的优化。ML Kit — 由于Google的模型，在复杂场景上更准确。Core ML支持任何模型（通过coremltools转换），ML Kit — 仅支持自己的模型。快速实现 — ML Kit。最大化模型控制 — Core ML。实际选择：在一个应用中使用两个框架 — ML Kit用于标准标签，Core ML用于自定义标签。

自定义模型的训练和集成

自定义Image Labeling模型 — 为特定任务训练自己的分类器：识别水果品质、检测生产线上的缺陷、分类狗品种。过程包括数据集收集（每类1000+张图像）、标注、在预训练的MobileNetV2或EfficientNet上通过迁移学习进行训练，以及转换为TFLite / Core ML。

迁移学习 — 移动分类器的主要训练方法。采用在ImageNet上预训练的模型，冻结底层（CNN骨干网络），重新训练上层（微调）。这只需要每类100–500张图像，在Google Colab（GPU）上需要1–2小时。库：TensorFlow Keras（Android）、PyTorch + coremltools（iOS）。结果：目标类别上准确率达95–98%。

// Image Labeling与Core ML用于视觉搜索
val interpreter = Interpreter(loadModelFile(context))
val inputImage = TensorImage.fromBitmap(bitmap)
    .apply { load(Bitmap.createScaledBitmap(bitmap, 224, 224, true)) }

val output = Array(1) { FloatArray(NUM_CLASSES) }
interpreter.run(inputImage.tensorBuffer, output)

val probabilities = TensorLabel.mapIndexToLabels(output[0])
val topClass = probabilities.maxByOrNull { it.value }

ML Kit自定义模型API — 替代方案：无需为TFLite解释器编写代码——ML Kit自行加载模型并处理预处理。自定义图像标记器接受输入大小为224x224x3、输出为score float[NUM_CLASSES]的TFLite模型。只需传递模型文件即可获得标准标签。如果模型符合TFLite格式，建议使用ML Kit自定义模型API。如果需要对推理进行更精细的控制（阈值、每类阈值）——直接使用TFLite解释器。

TFLite和Core ML：格式比较

TFLite（TensorFlow Lite） — Google用于移动和边缘设备的模型格式。支持量化（FP16、INT8），可将模型大小缩小4倍，速度提高2–3倍，同时略微损失准确率（1–2%）。TFLite在Android上通过GPU委托（OpenGL/OpenCL）运行，在iOS上通过Core ML委托运行。TFLite任务API为图像分类器、目标检测器和其他任务提供统一接口。

Core ML — Apple的格式（.mlpackage — 新格式，.mlmodel — 旧格式）。支持量化（FP16）、权重调色板化（1/2/4/6/8位），可将模型压缩高达80%。Core ML使用ANE（神经引擎）、GPU和CPU——系统自动选择最优引擎。从PyTorch通过torch.onnx.export + coremltools转换，从TensorFlow通过tf-keras + coremltools转换。iOS 18+通过Core ML训练API支持设备端训练。

ONNX作为中间格式：将模型转换为ONNX（PyTorch → ONNX，TensorFlow → ONNX），然后通过onnx2tf或onnx2coreml转换为TFLite / Core ML。ONNX — 一种统一格式，受70多个框架支持。这简化了流程：一个训练好的模型 → ONNX → 两个平台的原生格式。在PyTorch中训练 + 转换为ONNX → TFLite（Android）/ Core ML（iOS）——跨平台项目的推荐流程。

Image Labeling在应用中的应用

照片自动标记 — 图库应用（Google Photos、Apple Photos）自动为图像分配标签：“海滩”、“日落”、“狗”、“食物”。ML Kit Image Labeling在后台处理图库中的每张照片 — 100张照片1–2秒（批处理）。用户无需手动排序即可按标签搜索。Google Photos使用设备端分类，复杂场景随后进行服务器验证。

内容审核 — 自动检测用户内容（社交媒体、市场平台、UGC平台）中的不良图像。ML Kit自定义模型以92–96%的准确率检测NSFW内容、暴力、宣传。激活阈值 — 置信度0.8。为减少误报（合法医学图像），使用分类器委员会：Image Labeling + Object Detection + Blur Detection。设备端审核更快，并保护用户隐私。

产品视觉搜索 — 用户拍摄产品（鞋子、包、家具），应用确定标签并在目录中查找类似产品。Image Labeling将搜索范围缩小到类别，然后特征描述符（特征向量）查找视觉相似的实例。Pinterest Lens、Google Lens、Amazon StyleSnap使用这种方法。设备端分类在10–30毫秒内给出结果，云端 — 在200–500毫秒内搜索产品数据库。

// Image Labeling with Core ML for visual search
let request = VNCoreMLRequest(model: productClassifier) { req, _ in
    guard let result = req.results?.first as? VNClassificationObservation,
          result.confidence > 0.6 else { return }
    SearchService.findSimilarProducts(
        category: result.identifier,
        image: capturedPhoto,
        limit: 10
    ) { products in
        DispatchQueue.main.async {
            self.showResults(products)
        }
    }
}

AR和教育应用 — Image Labeling通过摄像头实时分类对象。用户将手机对准植物 — 应用显示名称、护理、浇水。对准机械部件 — 解释其用途。要求：延迟<30毫秒。EfficientNet-Lite在旗舰设备上提供15–25毫秒。在弱光下，准确率下降 — 使用自动置信度阈值（在弱光条件下降低阈值以补偿输入质量下降）。