การใช้พลังงานของโมดูลกล้องมาจากไหน?

เมื่อวิศวกรประเมินโมดูลกล้อง การใช้พลังงานมักถือเป็นข้อกำหนดอย่างง่ายที่แสดงอยู่ในเอกสารข้อมูล ในความเป็นจริง การใช้พลังงานของโมดูลกล้องเป็นผลมาจากระบบย่อยหลายระบบที่ทำงานร่วมกัน รวมถึงเซ็นเซอร์ภาพ, ISP, บัฟเฟอร์หน่วยความจำ, อินเทอร์เฟซความเร็วสูง-, นาฬิกา, ตัวควบคุมแรงดันไฟฟ้า และตัวประมวลผลโฮสต์

การทำความเข้าใจแหล่งที่มาของการใช้พลังงานเป็นสิ่งสำคัญสำหรับระบบวิชันซิสเต็มแบบฝัง กล้องอุตสาหกรรม อุปกรณ์ AI Edge ผลิตภัณฑ์ที่ใช้พลังงานแบตเตอรี่- และแอปพลิเคชันวิชันซิสเต็ม ความเข้าใจพฤติกรรมด้านพลังงานที่ไม่ดีอาจนำไปสู่ความร้อนสูงเกิน คุณภาพของภาพไม่เสถียร อายุการใช้งานแบตเตอรี่สั้นลง และระบบทำงานล้มเหลวโดยไม่คาดคิด

ที่สำคัญกว่านั้น วิศวกรหลายคนเข้าใจผิดว่าการใช้พลังงานจะปรับขนาดโดยตรงกับความละเอียดของเซ็นเซอร์ ในทางปฏิบัติ ปัจจัยหลักมักจะเป็นปริมาณการประมวลผลภาพทั้งหมด-จำนวนข้อมูลภาพที่ต้องบันทึก ประมวลผล ส่ง และวิเคราะห์ทุกวินาที

การใช้พลังงานเริ่มต้นด้วยปริมาณพิกเซล

ที่ระดับเซ็นเซอร์ การใช้พลังงานมีความเกี่ยวข้องอย่างใกล้ชิดกับปริมาณงานพิกเซล มากกว่าความละเอียดเพียงอย่างเดียว

ตัวอย่างเช่น:

• 2MP @ 30FPS=ประมาณ 60 ล้านพิกเซลต่อวินาที
• 5MP @ 30FPS=ประมาณ 150 ล้านพิกเซลต่อวินาที
• 8MP @ 60FPS=ประมาณ 480 ล้านพิกเซลต่อวินาที

ทุกพิกเซลจะต้องถูกเปิดเผย แปลงจากรูปแบบแอนะล็อกเป็นดิจิทัล ถ่ายโอนผ่านวงจรอ่านค่าของเซ็นเซอร์ ประมวลผลโดย ISP ส่งผ่านอินเทอร์เฟซ และจัดการโดยโปรเซสเซอร์โฮสต์ในที่สุด

เมื่อปริมาณพิกเซลเพิ่มขึ้น เกือบทุกบล็อกในไปป์ไลน์การสร้างภาพจะสิ้นเปลืองพลังงานมากขึ้น นี่คือสาเหตุที่กล้อง 8MP ที่ทำงานที่อัตราเฟรมสูงอาจใช้พลังงานมากกว่ากล้อง 2MP หลายเท่า แม้ว่าทั้งคู่จะใช้เทคโนโลยีเซมิคอนดักเตอร์ที่คล้ายคลึงกันก็ตาม

เซ็นเซอร์รับภาพเป็นมากกว่าพิกเซล

เซ็นเซอร์ภาพมักถูกมองว่าเป็นผู้ใช้พลังงานหลัก แต่การทำความเข้าใจว่าพลังงานของเซ็นเซอร์ถูกใช้ไปที่ใดนั้นจำเป็นต้องพิจารณาให้ลึกลงไปในสถาปัตยกรรมภายใน

เซนเซอร์ภาพ CMOS สมัยใหม่ประกอบด้วย:

• อาร์เรย์พิกเซล
• ไดรเวอร์แถวและคอลัมน์
• เครื่องขยายเสียงแบบอะนาล็อก
• วงจรสุ่มตัวอย่างคู่ที่สัมพันธ์กัน
• ตัวแปลงแอนะล็อก-เป็น-ดิจิทัล (ADC)
• เครื่องกำเนิดไฟฟ้าไทม์มิ่ง
• ซีเรียลไลเซอร์เอาต์พุตความเร็วสูง-

ในบรรดาบล็อกเหล่านี้ ADC และวงจรเอาท์พุตความเร็วสูง-มักมีส่วนสำคัญในการใช้พลังงานของเซ็นเซอร์ เมื่ออัตราเฟรมเพิ่มขึ้น วงจรเหล่านี้จะต้องทำงานที่ความถี่ที่สูงขึ้น ส่งผลให้การใช้พลังงานแบบไดนามิกเพิ่มขึ้นอย่างมาก

การถ่ายภาพที่มีแสงน้อย-ยังสามารถเพิ่มความต้องการพลังงานของเซ็นเซอร์ได้อีกด้วย เวลาเปิดรับแสงนานขึ้น อัตราขยายแบบอะนาล็อกที่สูงขึ้น และโหมด HDR ขั้นสูงมักต้องใช้เซ็นเซอร์เพิ่มเติมซึ่งใช้พลังงานมากกว่าโหมดภาพมาตรฐาน

เหตุใดการประมวลผลของ ISP จึงกลายเป็นผู้ใช้ไฟฟ้ารายใหญ่ที่สุดได้

ในระบบกล้องสมัยใหม่หลายๆ ตัว ตัวประมวลผลสัญญาณภาพ (ISP) ใช้พลังงานมากพอๆ กับตัวเซนเซอร์เอง-หรือมากกว่านั้นด้วยซ้ำ

ข้อมูลเซ็นเซอร์ดิบไม่สามารถใช้งานได้โดยตรง ก่อนที่รูปภาพจะไปถึงเลเยอร์แอปพลิเคชัน โดยทั่วไปแล้วจะต้องผ่านขั้นตอนการประมวลผลหลายสิบขั้นตอน:

• การทำลายล้าง
• ค่าแสงอัตโนมัติ (AE)
• สมดุลแสงขาวอัตโนมัติ (AWB)
• การแก้ไขแสงเงาของเลนส์ (LSC)
• การแก้ไขพิกเซลข้อบกพร่อง (DPC)
• ลดเสียงรบกวน
• การลับคม
• การแก้ไขสี
• การประมวลผล HDR/WDR
• การปรับแกมมา
• การทำแผนที่โทน

อัลกอริธึมจำนวนมากทำงานบนทุกพิกเซลของทุกเฟรม เมื่อความละเอียดและอัตราเฟรมเพิ่มขึ้น ความซับซ้อนในการคำนวณก็จะเพิ่มขึ้นอย่างรวดเร็ว

โหมด HDR และ WDR มีความต้องการเป็นพิเศษ เนื่องจากต้องถ่ายภาพซ้อนและรวมเป็นภาพเดียว ในบางแอปพลิเคชัน การเปิดใช้งาน HDR สามารถเพิ่มปริมาณงาน ISP ได้มากกว่า 50% ส่งผลให้การใช้พลังงานโดยรวมของระบบเพิ่มขึ้นอย่างเห็นได้ชัด

อัตราเฟรมมักมีความสำคัญมากกว่าความละเอียด

วิศวกรหลายคนเน้นหนักไปที่เมกะพิกเซลในขณะที่มองข้ามอัตราเฟรม

จากมุมมองของพลังงาน อัตราเฟรมอาจมีผลกระทบมากกว่าความละเอียด เนื่องจากจะเป็นตัวกำหนดโดยตรงว่าไปป์ไลน์การถ่ายภาพทั้งหมดจะต้องทำงานบ่อยแค่ไหน

พิจารณากล้อง 2MP:

• 2MP @ 30FPS
• 2MP @ 60FPS
• 2MP @ 120FPS

อัตราเฟรมที่เพิ่มขึ้นเป็นสองเท่าจะเพิ่มกิจกรรมการอ่านข้อมูลของเซ็นเซอร์ ปริมาณงานการประมวลผลของ ISP ความถี่ในการเข้าถึงหน่วยความจำ และข้อกำหนดในการส่งข้อมูลอินเทอร์เฟซได้อย่างมีประสิทธิภาพ

ข้อมูลนี้อธิบายว่าทำไมกล้องอุตสาหกรรมความเร็วสูง-จึงมักต้องการการระบายความร้อนแบบแอคทีฟ แม้ว่าความละเอียดจะค่อนข้างต่ำก็ตาม

ต้นทุนที่ซ่อนอยู่ของการเคลื่อนที่ของหน่วยความจำและข้อมูล

แหล่งที่มาของการใช้พลังงานอย่างหนึ่งที่มักถูกมองข้ามคือการเข้าถึงหน่วยความจำ

การดำเนินการประมวลผลภาพจำนวนมากต้องใช้บัฟเฟอร์เฟรมชั่วคราวที่จัดเก็บไว้ในหน่วยความจำ DDR การดำเนินการอ่านและเขียนทุกครั้งจะสิ้นเปลืองพลังงาน

สำหรับระบบการมองเห็น AI ข้อมูลภาพอาจถูกถ่ายโอนหลายครั้ง:

• เซ็นเซอร์ถึง ISP
• ISP เป็นหน่วยความจำ DDR
• ตัวเร่งความเร็ว DDR เป็น AI
• ตัวเร่ง AI ไปยัง CPU
• CPU เพื่อแสดงหรือจัดเก็บข้อมูล

ในอุปกรณ์ Edge AI หลายๆ ตัว การย้ายข้อมูลภาพผ่านหน่วยความจำใช้พลังงานมากกว่าอัลกอริธึมการประมวลผลภาพจริง

การใช้พลังงานของอินเทอร์เฟซไม่สำคัญ

อินเทอร์เฟซความเร็วสูง-เช่น USB 3.0, MIPI CSI-2 และ Gigabit Ethernet ต้องใช้วงจรฟิสิคัลเลเยอร์เฉพาะที่ทำงานที่ความถี่สูงมาก

เมื่อปริมาณงานภาพเพิ่มขึ้น ความต้องการแบนด์วิธของอินเทอร์เฟซก็เพิ่มขึ้นตามไปด้วย

ตัวอย่างเช่น การส่งวิดีโอ 4K ที่ไม่มีการบีบอัดต้องใช้พลังอินเทอร์เฟซมากกว่าการส่งวิดีโอ 1080P ที่ถูกบีบอัดอย่างมาก ในบางระบบ พลังงานอินเทอร์เฟซอาจกลายเป็นเปอร์เซ็นต์ที่มีความหมายของการใช้โมดูลกล้องทั้งหมด

การใช้พลังงานส่งผลโดยตรงต่อคุณภาพของภาพ

การใช้พลังงานไม่ได้เป็นเพียงปัญหาด้านไฟฟ้าเท่านั้น มันส่งผลโดยตรงต่อพฤติกรรมทางความร้อน

เมื่ออุณหภูมิเซ็นเซอร์เพิ่มขึ้น:

• กระแสมืดเพิ่มขึ้น
• สัญญาณรบกวนของภาพจะมองเห็นได้ชัดเจนยิ่งขึ้น
• อัตราส่วนสัญญาณ-ต่อ-สัญญาณรบกวนลดลง
• ประสิทธิภาพของแสงน้อย-ลดลง
• ความน่าเชื่อถือในระยะยาว-อาจลดลง

นี่คือสาเหตุที่การออกแบบการระบายความร้อนมักแยกออกจากการเลือกโมดูลกล้องไม่ได้ กล้องที่กินไฟเพิ่มขึ้นเพียงหนึ่งวัตต์อาจทำให้อุณหภูมิการทำงานภายในตู้ขนาดกะทัดรัดเพิ่มขึ้นอย่างมาก

เคล็ดลับการเลือกโมดูลกล้อง

แทนที่จะเลือกเซ็นเซอร์ที่มีความละเอียดสูงสุด- วิศวกรควรเริ่มต้นด้วยข้อกำหนดการใช้งานและข้อจำกัดของระบบ

• กำหนดความหนาแน่นของพิกเซลจริงที่ต้องการที่ระยะเป้าหมาย
• กำหนดอัตราเฟรมขั้นต่ำที่ยอมรับได้
• ประเมินข้อกำหนด HDR/WDR อย่างรอบคอบ
• พิจารณาเป้าหมายเวลาการทำงานของแบตเตอรี่
• ประเมินข้อจำกัดด้านความร้อนของตู้
• ตรวจสอบความสามารถแบนด์วิธของโปรเซสเซอร์และหน่วยความจำ
• ประมาณปริมาณงานของภาพทั้งหมดก่อนเลือกเซ็นเซอร์

ในแอปพลิเคชันการมองเห็นแบบฝังตัวจำนวนมาก โมดูลกล้อง 2MP หรือ 5MP ที่ได้รับการปรับปรุงอย่างเหมาะสมสามารถบรรลุประสิทธิภาพการถ่ายภาพที่ต้องการในขณะที่ใช้พลังงานน้อยกว่าตัวเลือกที่มีความละเอียดสูงกว่า-อย่างมาก