mlmodelc: รูปแบบโมเดลที่คอมไพล์แล้วและการคอมไพล์คืออะไร

mlmodelc คืออะไรและแตกต่างจาก .mlmodel อย่างไร

mlmodelc คือรูปแบบโมเดล Core ML แบบไบนารีที่คอมไพล์แล้ว ออกแบบมาเพื่อทำงานโดยตรงบนอุปกรณ์ Apple รูปแบบ .mlmodel ดั้งเดิมคือแพ็คเกจที่ประกอบด้วยคำอธิบายโมเดลแบบ protobuf น้ำหนักในรูปแบบอาร์เรย์ และข้อมูลเมตาใน JSON ในระหว่างการคอมไพล์ โครงสร้างนี้จะถูกแปลงเป็นรูปแบบไบนารีขนาดกะทัดรัดที่ปรับให้เหมาะสมสำหรับแพลตฟอร์มฮาร์ดแวร์เฉพาะ

ความแตกต่างหลักของ mlmodelc คือ การไม่มีขั้นตอนการแปลความ ระหว่างการอนุมาน Core ML Runtime จะไม่แยกวิเคราะห์สคีมา protobuf หรือสร้างกราฟการคำนวณแบบไดนามิก — ขั้นตอนทั้งหมดนี้ดำเนินการในเวลาคอมไพล์ ซึ่งช่วยปรับปรุงเวลาในการโหลดโมเดลครั้งแรกได้ 30% ถึง 60% ขึ้นอยู่กับความซับซ้อนของสถาปัตยกรรม

ตามเซสชัน WWDC 2023 เรื่อง “Core ML Tools และการเพิ่มประสิทธิภาพโมเดล” การคอมไพล์รวมถึงการปรับการดำเนินการจุดลอยตัวให้เหมาะสม การรวมเลเยอร์ที่ต่อเนื่องกัน และการแปลงเป็นรูปแบบที่ Apple Neural Engine เข้าใจ นักพัฒนาไม่จำเป็นต้องจัดการกระบวนการนี้ด้วยตนเอง — Xcode ดำเนินการคอมไพล์โดยอัตโนมัติในเวลาสร้าง

การเปรียบเทียบ mlmodelc และ .mlmodel

กระบวนการคอมไพล์ mlmodelc ทำงานอย่างไร

การคอมไพล์โมเดลเป็น mlmodelc ผ่าน สามขั้นตอน ในขั้นตอนแรก Core ML Tools จะอ่านสเปก protobuf ของ .mlmodel และสร้างกราฟการคำนวณภายในในรูปแบบ MIL (Model Intermediate Language) เครื่องมือจะตรวจสอบความเข้ากันได้ของการดำเนินการแต่ละรายการกับอุปกรณ์เป้าหมายและทำเครื่องหมายเลเยอร์ที่ไม่รองรับสำหรับการทำงานบน CPU

ในขั้นตอนที่สอง การปรับกราฟให้เหมาะสม จะดำเนินการ: การรวมเลเยอร์ที่ต่อเนื่องกัน (convolution + batch norm → fused convolution) การลบโหนดที่ตายแล้ว และการควอนไทซ์น้ำหนักจาก FP32 เป็น FP16 หรือ INT8 ตามรายงานวิศวกรรมของ Apple เรื่อง “Core ML Optimization Pipeline” (2024) การรวมเลเยอร์ช่วยลดจำนวนการดำเนินการอนุมานได้ถึง 40%

ขั้นตอนที่สามคือ การสร้างรูปแบบไบนารี กราฟที่ปรับให้เหมาะสมแล้วจะถูกทำให้เป็นอนุกรมในรูปแบบกรรมสิทธิ์ของ Core ML Runtime น้ำหนักจะถูกจัดเก็บโดยจัดแนวกับบรรทัดแคชของ CPU และข้อมูลเมตาจะถูกเก็บไว้ในดัชนีแยกต่างหากเพื่อการเข้าถึงที่รวดเร็ว ผลลัพธ์คือโฟลเดอร์ที่มีนามสกุล .mlmodelc พร้อมที่จะรวมในบันเดิลแอปพลิเคชัน

สถาปัตยกรรมภายในของ mlmodelc

โครงสร้าง mlmodelc ประกอบด้วยสามองค์ประกอบหลัก Model Description มีข้อมูลเมตาของโมเดล: ชนิดอินพุตและเอาต์พุต มิติของมัน ชื่อเทนเซอร์ และพารามิเตอร์การประมวลผลล่วงหน้า ส่วนนี้ถูกจัดเก็บในรูปแบบคล้าย JSON เพื่อความเข้ากันได้กับ API ของ Core ML

Program คือรูปแบบไบนารีของกราฟการคำนวณในภาษา MIL ภายใน Apple ใช้ MIL เป็นรูปแบบตัวกลางที่คล้ายกับ MLIR ใน TensorFlow หรือ ONNX โปรแกรม MIL ประกอบด้วยการดำเนินการ แต่ละรายการมีชนิด เทนเซอร์อินพุตและเอาต์พุต และแอตทริบิวต์ รูปแบบ MIL ได้รับการปรับให้เหมาะสมสำหรับการทำงานที่มีประสิทธิภาพบน Apple Neural Engine

องค์ประกอบที่สามคือ weights.bin — ไฟล์ที่มีน้ำหนักที่ฝึกแล้วทั้งหมดของโมเดล น้ำหนักจะถูกจัดเก็บโดยจัดแนว 64 ไบต์เพื่อการโหลดแคชที่เหมาะสมที่สุด หากระบุการควอนไทซ์ระหว่างการคอมไพล์ น้ำหนักจะถูกบันทึกใน FP16 หรือ INT8 ซึ่งช่วยลดขนาดไฟล์และเร่งการอนุมานบนชิป Apple A17 และ M4 ที่รองรับฮาร์ดแวร์สำหรับรูปแบบเหล่านี้

วิธีการปรับใช้ mlmodelc ในแอปพลิเคชัน

Apple รองรับสามวิธีในการรวม mlmodelc ในแอปพลิเคชัน วิธีแรกคือ การรวมแบบคงที่ในบันเดิล: ไฟล์ mlmodelc ถูกเพิ่มในโปรเจกต์ Xcode และจะอยู่ใน .app เมื่อสร้าง วิธีนี้เหมาะสมที่สุดสำหรับโมเดลขนาดเล็กถึง 100 MB และไม่ต้องการการเข้าถึงเครือข่ายสำหรับการเริ่มครั้งแรก

วิธีที่สองคือ การดาวน์โหลดจากเครือข่ายพร้อมคอมไพล์บนอุปกรณ์ ผ่าน MLModel.compile(at:) นักพัฒนาดาวน์โหลด .mlmodel วางไว้ในไดเรกทอรีชั่วคราวและเรียกคอมไพเลอร์ Core ML ผลลัพธ์คือ mlmodelc ที่สามารถแคชไว้สำหรับการเริ่มครั้งต่อไป ตาม Apple HIG สำหรับ Core ML วิธีนี้แนะนำสำหรับโมเดลที่มีขนาดใหญ่กว่า 100 MB และสำหรับการอัปเดตแบบไดนามิกโดยไม่ต้องเผยแพร่เวอร์ชันแอปใหม่

วิธีที่สามคือ ทรัพยากรตามความต้องการ (On-Demand Resources) สำหรับโมเดลที่ดาวน์โหลดเมื่อจำเป็น Apple ODR อนุญาตให้จัดเก็บ mlmodelc ในคลาวด์และดาวน์โหลดเมื่อจำเป็นเท่านั้น นี่เป็นสถานการณ์ทั่วไปสำหรับแอปพลิเคชันที่มีโมเดลหลายสิบโมเดลซึ่งผู้ใช้ใช้เพียงไม่กี่โมเดล

การคอมไพล์แบบอะซิงโครนัสบนอุปกรณ์

เมื่อดาวน์โหลดโมเดลจากเครือข่าย สิ่งสำคัญคือต้องคำนึงถึงเวลาคอมไพล์ MLModel.compile(at:) ทำงานแบบซิงโครนัสและอาจบล็อก UI บนอุปกรณ์ A12 และเก่ากว่านานถึง 5–10 วินาทีสำหรับโมเดลขนาดกลาง แนะนำให้ทำการคอมไพล์ในเธรดพื้นหลังและแจ้งให้ผู้ใช้ทราบเกี่ยวกับความคืบหน้าผ่านตัวบ่งชี้การโหลด

ข้อดีด้านประสิทธิภาพของ mlmodelc

ข้อดีหลักของ mlmodelc คือ ความเร็วในการโหลดโมเดล ตามเกณฑ์ประสิทธิภาพของ Apple (2024) โมเดล ResNet-50 ขนาด 100 MB โหลดเร็วกว่า 58% ในรูปแบบ mlmodelc เมื่อเทียบกับ .mlmodel ซึ่งสำคัญโดยเฉพาะสำหรับแอปพลิเคชันที่ทำงานกับหลายโมเดลตามลำดับ

ข้อดีที่สองคือ การลดการใช้หน่วยความจำสูงสุด เมื่อโหลด .mlmodel Core ML Runtime จะจัดสรรบัฟเฟอร์สำหรับแยกวิเคราะห์ protobuf และบัฟเฟอร์ที่สองสำหรับการคอมไพล์กราฟ mlmodelc เริ่มทำงานโดยตรง โดยข้ามขั้นตอนเหล่านี้ การใช้หน่วยความจำสูงสุดลดลง 30–45% สำหรับโมเดลคอมพิวเตอร์วิทัศน์

ข้อดีที่สามคือ การเพิ่มประสิทธิภาพฮาร์ดแวร์ คอมไพเลอร์ coremlc วิเคราะห์อุปกรณ์เป้าหมายในเวลาสร้างและเลือกการแบ่งการดำเนินการที่เหมาะสมที่สุดระหว่าง ANE, GPU และ CPU หากการสร้างเป็นแบบสากล การคอมไพล์จะถูกเลื่อนไปยังอุปกรณ์ในการเริ่มครั้งแรกและผลลัพธ์จะถูกแคชไว้สำหรับเซสชันถัดไป

ตัวอย่างโค้ดการทำงานกับ mlmodelc ใน Swift

ตัวอย่างการโหลดโมเดลที่คอมไพล์แล้วจากบันเดิลแอปพลิเคชัน เพียงระบุ URL ของโมเดลและเรียก MLModel.load(contentsOf:) Core ML Runtime จะตรวจจับรูปแบบ mlmodelc โดยอัตโนมัติจากนามสกุลและดำเนินการเริ่มต้น

import CoreML

guard let modelURL = Bundle.main.url(
    forResource: "MyModel",
    withExtension: "mlmodelc"
) else { return }

let model = try await MLModel.load(contentsOf: modelURL)
let prediction = try await model.prediction(from: input)

ตัวอย่างการคอมไพล์ .mlmodel บนอุปกรณ์ด้วยการแคชในภายหลัง ใช้ MLModel.compile(at:) เพื่อรับพาธชั่วคราวไปยัง mlmodelc จากนั้นคัดลอกไปยังไดเรกทอรีแคช

let sourceURL = FileManager.default.temporaryDirectory
    .appendingPathComponent("MyModel.mlmodel")

let compiledURL = try await MLModel.compile(at: sourceURL)

let cacheURL = FileManager.default.urls(
    for: .cachesDirectory, in: .userDomainMask
)[0].appendingPathComponent("MyModel.mlmodelc")

try FileManager.default.copyItem(at: compiledURL, to: cacheURL)