วิชันแบบอีเวนต์เทียบกับแบบเฟรม: การเปรียบเทียบสำหรับการใช้งานจริง

การมองเห็นแบบเฟรมคืออะไร?

การมองเห็นแบบเฟรมจะจับภาพฉากเป็นภาพที่สมบูรณ์ในช่วงเวลาสม่ำเสมอ เช่น เฟรม 30, 60 หรือ 120 ต่อวินาที แต่ละเฟรมมีข้อมูลเชิงพื้นที่หนาแน่น ซึ่งทำให้กล้องทั่วไปมีความเหมาะสมตามธรรมชาติสำหรับการจดจำวัตถุ การวิเคราะห์สี การตรวจสอบ การทำแผนที่ และระบบนิเวศของซอฟต์แวร์ขนาดใหญ่ที่สร้างขึ้นรอบๆ เทนเซอร์ของภาพ

ข้อเสียคือทุกเฟรมจะย้ายภาพที่สมบูรณ์ผ่านไปป์ไลน์ ไม่ว่าฉากจะเปลี่ยนไปหรือไม่ก็ตาม สำหรับวงจรการตัดสินใจที่รวดเร็ว เวลาเปิดรับแสง ระยะเวลาเฟรม การอ่านข้อมูล เซนเซอร์ การขนส่ง การแปลงภาพ และการอนุมาน ล้วนมีส่วนทำให้เกิดเวลาแฝงจากต้นทางถึงปลายทาง อัตราเฟรมที่สูงจะช่วยลดช่วงเวลาการสุ่มตัวอย่าง แต่โดยปกติแล้วจะเพิ่มแบนด์วิดธ์ การรับส่งข้อมูลหน่วยความจำ พลังงาน และโหลดความร้อน

วิสัยทัศน์ตามเหตุการณ์คืออะไร?

การมองเห็นตามเหตุการณ์ใช้รูปภาพตามเหตุการณ์ เซนเซอร์ ซึ่งพิกเซลตอบสนองต่อการเปลี่ยนแปลงความสว่างแบบอะซิงโครนัส แทนที่จะส่งภาพสี่เหลี่ยมด้วยจังหวะคงที่ เซนเซอร์ จะสร้างสตรีมที่มีพิกัดพิกเซล ขั้ว และการประทับเวลาที่แม่นยำ ขอบเขตคงที่จึงสร้างข้อมูลเพียงเล็กน้อยหรือไม่มีเลย ในขณะที่ขอบที่เคลื่อนที่สามารถสร้างเหตุการณ์ที่มีความละเอียดทางโลกที่ละเอียดมาก

การแสดงนี้มีประโยชน์เมื่อจังหวะการเคลื่อนไหวมีความสำคัญมากกว่าการได้รับภาพที่สมบูรณ์ซ้ำๆ สามารถรองรับการติดตามเวลาแฝงต่ำ หุ่นยนต์ความเร็วสูง และการเปลี่ยนแสงที่ยากลำบาก แต่สตรีมเหตุการณ์ไม่ใช่ภาพถ่ายปกติ เครื่องมืออัลกอริธึม การสร้างภาพ การบันทึก และการตรวจสอบความถูกต้องต้องได้รับการออกแบบรอบๆ โมเดลข้อมูล

วิธีที่รูปภาพตามเหตุการณ์ เซนเซอร์ เปลี่ยนเส้นทางข้อมูล

ระบบอ้างอิงที่เป็นประโยชน์จะเปิดเผยเส้นทางแบบเต็มจากการได้มาของ เซนเซอร์ ผ่านการกรองและการประมวลผลไปยังเอาต์พุตของแอปพลิเคชัน วางขอบเขตขอบเขตเหล่านั้นเพื่อให้สามารถประเมินเวลาแฝงและอัตราข้อมูลได้ตั้งแต่ต้นจนจบ

ความแตกต่างทางสถาปัตยกรรมที่สำคัญไม่ใช่แค่ “กล้องที่เร็วกว่ากับกล้องที่ช้ากว่า” ไปป์ไลน์การมองเห็นแบบเดิมๆ มักเริ่มต้นด้วยบัฟเฟอร์ภาพเต็ม ไปป์ไลน์ตามเหตุการณ์สามารถเริ่มประมวลผลแต่ละเหตุการณ์หรือหน้าต่างเหตุการณ์ขนาดเล็กได้ทันทีที่มาถึง ซึ่งช่วยให้การกรอง การจัดตำแหน่งการประทับเวลา ตรรกะตามภูมิภาคที่สนใจ และคุณสมบัติการเคลื่อนไหวทำงานใกล้กับ เซนเซอร์ โดยไม่ต้องรอให้เฟรมสมบูรณ์

อย่างไรก็ตาม ข้อมูลเหตุการณ์อาจมีความหนาแน่นสูงในฉากที่มีพื้นผิวสูง หรือภายใต้การสั่นสะเทือนและการสั่นไหว การออกแบบระบบจึงควรวัดอัตราเหตุการณ์ที่เลวร้ายที่สุด การใช้งานอินเทอร์เฟซ และแบนด์วิดท์หน่วยความจำ แทนที่จะคิดว่าการตรวจจับเหตุการณ์หมายถึงแบนด์วิธต่ำเสมอ

การมองเห็นตามเหตุการณ์เทียบกับการมองเห็นตามเฟรม

เวลาแฝง: วัดเซ็นเซอร์ต่อการตัดสินใจ ไม่ใช่องค์ประกอบเดียว

กล้องเหตุการณ์มักถูกเลือกสำหรับการรับรู้เวลาแฝงต่ำ แต่ความละเอียดการประทับเวลา เซนเซอร์ ไม่เหมือนกับเวลาแฝงของแอปพลิเคชัน ตัวชี้วัดทางวิศวกรรมที่มีประโยชน์คือเวลาตั้งแต่การเปลี่ยนแปลงในโลกแห่งความเป็นจริงไปจนถึงการตัดสินใจที่ปรากฏบนอินเทอร์เฟซระบบ พาธดังกล่าวประกอบด้วยการตอบสนองของ เซนเซอร์ การขนส่ง การบัฟเฟอร์ การประมวลผลล่วงหน้า การอนุมานหรือการติดตาม การตั้งเวลาซอฟต์แวร์ และการสื่อสารเอาท์พุต

กฎเดียวกันนี้ใช้กับกล้องแบบเฟรม ไปป์ไลน์อัตราเฟรมสูงที่ออกแบบมาอย่างดีพร้อมเส้นทางหน่วยความจำโดยตรงอาจมีประสิทธิภาพเหนือกว่าไปป์ไลน์เหตุการณ์ที่รวมไม่ดี สถาปัตยกรรมจึงควรได้รับการเปรียบเทียบด้วยการเคลื่อนไหว แสง และอัลกอริธึมที่เป็นตัวแทน

ซอฟต์แวร์วิชันซิสเต็มตามเหตุการณ์และข้อควรพิจารณาเกี่ยวกับ SDK

โดยทั่วไปแล้วสแต็กซอฟต์แวร์การมองเห็นตามเหตุการณ์จำเป็นต้องมีการกำหนดค่าอุปกรณ์ การถอดรหัสเหตุการณ์ การจัดการการประทับเวลา การกรอง การแสดงภาพ การบันทึก และการเล่นซ้ำ การมองเห็นตามเหตุการณ์ที่มีประโยชน์ SDK ควรทำให้ง่ายต่อการซิงโครไนซ์ทริกเกอร์ภายนอกและเซ็นเซอร์อื่นๆ ตรวจสอบอัตราเหตุการณ์ และสร้างลำดับที่บันทึกไว้ในระหว่างการพัฒนาอัลกอริทึม

สำหรับระบบที่ใช้งานจริง ซอฟต์แวร์ต้องขยายเกินกว่าเดสก์ท็อป SDK ทีมควรกำหนดวิธีการย้ายเหตุการณ์ไปยังทรัพยากร FPGA, MCU, MPU หรือ NPU วิธีจัดเก็บการสอบเทียบ ซิงโครไนซ์เวลาอย่างไร และวิธีเล่นซ้ำบันทึกภาคสนาม หากอัลกอริทึมแปลงเหตุการณ์เป็นเฟรมที่สะสม หน้าต่างการสะสมจะกลายเป็นการแลกเปลี่ยนเวลาแฝงกับข้อมูลที่ชัดเจน

ในกรณีที่การมองเห็นตามเหตุการณ์มีประโยชน์

แอปพลิเคชันการมองเห็นตามเหตุการณ์ทั่วไป ได้แก่ การติดตามเป้าหมายความเร็วสูง การควบคุมด้วยหุ่นยนต์ การไหลของแสง การวิเคราะห์การสั่นสะเทือนหรือการเคลื่อนไหว การตรวจสอบทางอุตสาหกรรมที่รวดเร็ว และการรับรู้อัตโนมัติในฉากที่มีการเปลี่ยนแปลงความสว่างมาก กรณีการใช้งานที่โดดเด่นที่สุดมักเป็นกรณีที่โครงสร้างชั่วคราวที่ละเอียดช่วยปรับปรุงการตัดสินใจได้โดยตรง แทนที่จะเปลี่ยนเพียงกล้องทั่วไปเท่านั้น

วิสัยทัศน์ตามเหตุการณ์สำหรับแพลตฟอร์มการป้องกันและอัตโนมัติ

ในระบบการป้องกัน การรักษาความปลอดภัย และระบบอัตโนมัติ การตรวจจับเหตุการณ์สามารถเกี่ยวข้องกับการชี้นำการเคลื่อนไหวที่รวดเร็ว การติดตามการทดลอง เพย์โหลดเชิงแสงที่มีความหน่วงต่ำ และการวิจัยการรวมเซ็นเซอร์ ระบบยังคงต้องตอบสนองความต้องการของแพลตฟอร์ม เช่น การซิงโครไนซ์ อินเทอร์เฟซที่กำหนด การออกแบบด้านสิ่งแวดล้อม การบันทึก ความปลอดภัยทางไซเบอร์ และการตรวจสอบความถูกต้อง การตรวจจับเหตุการณ์เป็นองค์ประกอบหนึ่งของห่วงโซ่ภารกิจ ไม่ใช่โซลูชันการรับรู้ที่สมบูรณ์ในตัวมันเอง

เมื่อสถาปัตยกรรมกล้องไฮบริดดีขึ้น

ระบบการปฏิบัติหลายอย่างได้ประโยชน์จากการผสมผสานรูปแบบต่างๆ เฟรมสามารถให้บริบทเชิงความหมายและภาพที่มนุษย์สามารถอ่านได้ ในขณะที่เหตุการณ์มีส่วนช่วยในรายละเอียดชั่วคราว เซ็นเซอร์ความร้อน เฉื่อย หรือเซ็นเซอร์วัดระยะสามารถเพิ่มความทนทานได้ ฟิวชั่นมีประโยชน์อย่างยิ่งเมื่อแอปพลิเคชันต้องการทั้ง "มันคืออะไร" และ “มันเคลื่อนไหวเมื่อใดและอย่างไร”

สำหรับระบบไฮบริด การแบ่งเวลาเป็นสิ่งสำคัญ ควรพิจารณาทริกเกอร์ฮาร์ดแวร์ โดเมนการประทับเวลา และการสอบเทียบก่อนที่จะสรุปอัลกอริธึม

สถาปัตยกรรมอ้างอิงการมองเห็นตามเหตุการณ์ที่ใช้งานได้จริง

ระบบอ้างอิงสามารถวางการกรองตามที่กำหนดและการประทับเวลาใน FPGA, การอนุมาน AI บน NPU หรือตัวเร่งความเร็ว, บริการแอปพลิเคชันบน MPU และการควบคุมดูแลบน MCU หรือคอร์แบบเรียลไทม์ พาร์ติชันที่ถูกต้องจะขึ้นอยู่กับอัตราเหตุการณ์ สถาปัตยกรรมโมเดล แบนด์วิธหน่วยความจำ และอินเทอร์เฟซภายนอก ของเรา คู่มือเปรียบเทียบ FPGA, NPU และ MPU สำหรับ Edge AI อธิบายการแบ่งพาร์ติชันนี้โดยละเอียด

รายการตรวจสอบการคัดเลือก

• กำหนดเวลาแฝงของเซ็นเซอร์ต่อการตัดสินใจสูงสุดที่ยอมรับได้
• วัดความเร็วการเคลื่อนไหวที่คาดหวัง ระยะแสง และกิจกรรมในฉากที่เลวร้ายที่สุด
• ตัดสินใจว่าต้องการความเข้มของภาพ สี หรือวิดีโอที่มนุษย์สามารถอ่านได้
• ประมาณการการเคลื่อนไหวของแบนด์วิดท์และหน่วยความจำสำหรับทั้งฉากทั่วไปและกรณีที่เลวร้ายที่สุด
• ยืนยันอัลกอริธึม ชุดข้อมูล และวิสัยทัศน์ตามเหตุการณ์ SDK
• วางแผนการซิงโครไนซ์กับแหล่งทริกเกอร์เฟรม ความร้อน แรงเฉื่อย หรือภายนอก
• เปรียบเทียบไปป์ไลน์ที่สมบูรณ์ก่อนที่จะแช่แข็งคอมพิวเตอร์, บอร์ดฐาน และการออกแบบการระบายความร้อน

ระบบแมชชีนวิชัน, การถ่ายภาพความร้อน และคำถามในการตรวจสอบ

คอมพิวเตอร์วิทัศน์เป็นสาขากว้างๆ ในการดึงข้อมูลที่เป็นประโยชน์จากข้อมูลภาพ ในอุตสาหกรรม ระบบแมชชีนวิชัน ระบบจะต้องส่งผลการตรวจสอบซ้ำได้ภายใต้ข้อจำกัดด้านแสง การเคลื่อนไหว และเวลาของสายการผลิต เลือกระหว่างการตรวจจับตามเฟรมและตามเหตุการณ์โดยการทดสอบข้อบกพร่องหรือคุณสมบัติการเคลื่อนไหวที่แอปพลิเคชันจำเป็นต้องสังเกตจริง

การถ่ายภาพความร้อน เพิ่มมิติการวัดที่แตกต่าง: การแผ่รังสีอินฟราเรดที่เกี่ยวข้องกับอุณหภูมิพื้นผิว กล้องที่มองเห็นได้อาจเผยให้เห็นข้อบกพร่องของการประกอบหรือพื้นผิว ในขณะที่กล้องถ่ายภาพความร้อนจะเผยให้เห็นรูปแบบอุณหภูมิ รูปแบบเหล่านี้สามารถเสริมได้ แต่ก็ไม่ได้รับประกันการมองเห็นข้อบกพร่องทั้งหมด กำหนดการจัดตำแหน่ง เงื่อนไขการวัด และกฎการตัดสินใจ ก่อนที่จะรวมเข้ากับระบบการตรวจสอบ

สำรวจการตรวจสอบคุณภาพด้วยภาพและความร้อน