การผสานข้อมูลเซนเซอร์: กล้อง, LiDAR, IMU และการซิงโครไนซ์เวลา

ฟิวชั่นเริ่มต้นก่อนอัลกอริธึม

กล้อง เซ็นเซอร์ความร้อน เหตุการณ์ และเซ็นเซอร์เฉื่อยจะสังเกตโลกผ่านแบบจำลองการสุ่มตัวอย่างที่แตกต่างกัน อัลกอริธึมฟิวชั่นสามารถรวมเข้าด้วยกันได้อย่างถูกต้องเฉพาะเมื่ออุปกรณ์อิเล็กทรอนิกส์เก็บรักษาไว้เมื่อมีการสังเกตแต่ละครั้งและวิธีวางตำแหน่งเซ็นเซอร์ที่สัมพันธ์กัน

สร้างแบบจำลองเวลาที่ใช้ร่วมกัน

ทริกเกอร์ฮาร์ดแวร์ นาฬิกาที่มีระเบียบวินัย และการประทับเวลาขาเข้า จะช่วยแก้ปัญหาส่วนต่างๆ ได้ สถาปัตยกรรมควรกำหนดแหล่งที่มาของนาฬิกา ข้อผิดพลาดในการซิงโครไนซ์ ตำแหน่งการประทับเวลา และลักษณะการทำงานหลังจากการรีสตาร์ทหรือการหยุดชะงักของลิงก์ ความไม่แน่นอนของเวลาในการวัดมีประโยชน์มากกว่าการสมมติว่าทุกอินเทอร์เฟซประสานกัน

ถือว่าการสอบเทียบเป็นการกำหนดค่าที่ได้รับการจัดการ

การสอบเทียบภายในจะอธิบาย เซนเซอร์ แต่ละรายการ การสอบเทียบภายนอกเกี่ยวข้องกับเซ็นเซอร์ซึ่งกันและกันและกับแท่น อุณหภูมิ การบริการด้านเครื่องจักร และการเปลี่ยนทดแทนสามารถเปลี่ยนความสัมพันธ์เหล่านั้นได้ บันทึกการสอบเทียบจึงจำเป็นต้องมีตัวระบุ เวอร์ชัน และการตรวจสอบความถูกต้องที่เดินทางไปพร้อมกับข้อมูล

แบ่งพาร์ติชั่นเวิร์กโหลดตามเวลาแฝงและบริบท

การประมวลผลล่วงหน้าที่กำหนดและการจัดตำแหน่งการประทับเวลาอาจอยู่ใน FPGA หรือคอร์แบบเรียลไทม์ ในขณะที่การแยกคุณลักษณะและการอนุมานทำงานบน NPU หรือตัวประมวลผลแอปพลิเคชัน การเก็บหลักฐานดิบ ข้อมูลด้านสุขภาพ และผลลัพธ์ระดับกลางที่เลือกไว้ ทำให้การตัดสินใจฟิวชั่นสามารถสังเกตได้แทนที่จะคลุมเครือ

กล้อง, LiDAR และ IMU มีส่วนช่วยอะไรบ้าง

กล้องแสงที่มองเห็นจะให้ข้อมูลลักษณะที่ปรากฏสำหรับการมองเห็นของคอมพิวเตอร์ LiDAR วัดเรขาคณิตของฉากผ่านการสังเกตช่วง หน่วยวัดแรงเฉื่อยจะวัดปริมาณที่เกี่ยวข้องกับการเคลื่อนที่ เช่น อัตราเชิงมุมและความเร่ง แหล่งที่มาเหล่านี้มีอัตรา ลักษณะสัญญาณรบกวน และโหมดความล้มเหลวที่แตกต่างกัน การรวมเข้าด้วยกันต้องใช้แบบจำลองของความแตกต่างเหล่านั้น

เลือกเซ็นเซอร์โดยเทียบกับสภาพแวดล้อมการทำงานและการประมาณที่คุณต้องการ: ตำแหน่งของวัตถุ การวางแนวของเครื่องจักร หรือการเคลื่อนไหวของหุ่นยนต์ เซ็นเซอร์จำนวนมากขึ้นสามารถเพิ่มต้นทุนการรวมได้โดยไม่ต้องปรับปรุงการตัดสินใจ เริ่มต้นด้วยกรณีความล้มเหลวที่วัดได้สำหรับแนวทางการตรวจจับที่มีอยู่ จากนั้นประเมินว่ารูปแบบอื่นสามารถแก้ไขได้หรือไม่

เวลาในการบันทึกงบประมาณ ความล่าช้าในการขนส่ง และเวลาแฝงในการประมวลผล

ข้อความสองข้อความที่มารวมกันอาจบรรยายถึงช่วงเวลาที่แตกต่างกัน รักษาการประทับเวลาการจับภาพหากมี และบันทึกว่านาฬิกาของอุปกรณ์เกี่ยวข้องกับนาฬิกาทั่วไปอย่างไร การบัฟเฟอร์การขนส่ง การเปิดเผย และความล่าช้าในการอนุมานอยู่ในงบประมาณด้านเวลา ทดสอบวัตถุที่เคลื่อนไหวและแท่นหมุน เนื่องจากฉากคงที่สามารถซ่อนข้อผิดพลาดในการซิงโครไนซ์ได้

การสอบเทียบภายนอกจะอธิบายตำแหน่งสัมพัทธ์และการวางแนวของเซ็นเซอร์ จัดเก็บพร้อมกับการกำหนดค่า เซนเซอร์ และการแก้ไขซอฟต์แวร์ กล้องที่ถูกเคลื่อนย้ายหรือขายึดทดแทนอาจทำให้การแปลงที่มีประโยชน์ก่อนหน้านี้เป็นโมฆะ กำหนดวิธีที่การเปลี่ยนแปลงการติดตั้งทำให้เกิดการตรวจสอบการปรับเทียบ

ใช้ การผสานข้อมูลเซนเซอร์ ในวิทยาการหุ่นยนต์และการแปลเป็นภาษาท้องถิ่น

สำหรับหุ่นยนต์เคลื่อนที่อัตโนมัติ การรับรู้และการแปลเฉพาะที่มีความสัมพันธ์กันแต่ให้ผลลัพธ์ที่แตกต่างกัน การประมาณอุปสรรคอาจป้อนการวางแผนในท้องถิ่น ในขณะที่ LiDAR กล้อง การวัดระยะทางของล้อ และข้อมูลเฉื่อยสามารถรองรับการแปลเป็นภาษาท้องถิ่นหรือ SLAM ได้ ขึ้นอยู่กับสถาปัตยกรรมที่เลือก กำหนดเฟรมพิกัด ความไม่แน่นอน และอายุข้อมูลสูงสุดในแต่ละอินเทอร์เฟซ

ROS 2 มีเครื่องมือบูรณาการ แต่ความเข้ากันได้ของข้อความเพียงอย่างเดียวไม่ได้สร้างหุ่นยนต์ที่แข็งแกร่ง ตรวจสอบการดรอปเอาท์ของ เซนเซอร์ แพ็กเก็ตที่ล่าช้า และแสงที่ลดลงในการติดตั้งที่ต้องการ ความเข้ากันได้ของแพลตฟอร์มและไดรเวอร์ต้องได้รับการยืนยันสำหรับโปรเจ็กต์เฉพาะ

อ่านคู่มือการรับรู้และการควบคุมหุ่นยนต์

ข้อมูลอ้างอิงทางเทคนิค: Nav2: แหล่งที่มาของ เซนเซอร์ และข้อความการนำทาง