Tasvir ramkalari yordamida mashina ko'rish nima?
Tasvir ramkalaridan foydalangan holda mashina ko'rishi sahnani to'liq tasvir sifatida muntazam oraliqda oladi, masalan, soniyada 30, 60 yoki 120 kadr. Har bir kadrda zich fazoviy maʼlumotlar mavjud boʻlib, bu anʼanaviy kameralarni obʼyektlarni aniqlash, ranglarni tahlil qilish, tekshirish, xaritalash va tasvir tensorlari atrofida qurilgan katta dasturiy taʼminot ekotizimiga tabiiy moslashtiradi.
Shartnoma shundaki, har bir ramka sahna o'zgargan yoki o'zgarmaganligidan qat'i nazar, to'liq tasvirni quvur liniyasi orqali siljitadi. Tez qaror qabul qilish davri uchun ta'sir qilish vaqti, kadrlar davri, sensorni o'qish, tashish, tasvirni o'zgartirish va xulosa chiqarish - barchasi oxirigacha kechikishga yordam beradi. Yuqori kvadrat tezligi namuna olish oralig'ini qisqartiradi, lekin odatda tarmoqli kengligi, xotira trafigini, quvvat va termal yukni oshiradi.
Voqealarga asoslangan ko'rish nima?
Voqealarga asoslangan ko'rish piksellari yorqinlik o'zgarishiga mos kelmaydigan tarzda javob beradigan hodisaga asoslangan tasvir sensoridan foydalanadi. Belgilangan kadansda to'rtburchaklar tasvirni berish o'rniga, sensor piksel koordinatalari, qutblilik va aniq vaqt belgilarini o'z ichiga olgan oqim hosil qiladi. Shunday qilib, statik hududlar juda kam ma'lumot hosil qiladi yoki hech qanday ma'lumot hosil qilmaydi, harakatlanuvchi qirralar esa juda yaxshi vaqtinchalik ruxsatga ega voqealarni keltirib chiqarishi mumkin.
Bu tasvir to'liq tasvirni qayta-qayta qabul qilishdan ko'ra harakat vaqti muhimroq bo'lganda foydalidir. U past kechikish kuzatuvini, yuqori tezlikda robototexnika va qiyin yorug'lik o'tishlarini qo'llab-quvvatlashi mumkin, ammo voqea oqimi oddiy fotosurat emas. Algoritmlar, vizualizatsiya, ro'yxatga olish va tekshirish vositalari ma'lumotlar modeli atrofida ishlab chiqilishi kerak.
Hodisaga asoslangan tasvir sensori ma'lumotlar yo'lini qanday o'zgartiradi
Foydali ma'lumot tizimi sensorni olishdan filtrlash va qayta ishlash orqali dastur chiqishigacha bo'lgan to'liq yo'lni ochib beradi. Kechikish va maʼlumotlar tezligi boʻyicha daʼvolar oxirigacha baholanishi uchun bu chegaralarni oʻrnating.
Asosiy me'moriy farq shunchaki "tezroq kamera va sekinroq kamera" emas. An'anaviy ko'rish quvur liniyasi ko'pincha to'liq tasvir buferi bilan boshlanadi. Voqealarga asoslangan quvur liniyasi individual hodisalar yoki kichik voqea oynalari kelishi bilanoq qayta ishlashni boshlashi mumkin. Bu filtrlash, vaqt belgilarini moslashtirish, qiziqish mintaqasi mantig'i va harakat xususiyatlari to'liq kadrni kutmasdan sensorga yaqin ishlash imkonini beradi.
Biroq, hodisa ma'lumotlari yuqori teksturali sahnalarda yoki tebranish va miltillash ostida zich bo'lishi mumkin. Shuning uchun tizim dizayni hodisani sezish har doim past o'tkazish qobiliyatini anglatadi deb o'ylamasdan, eng yomon hodisa tezligini, interfeysdan foydalanishni va xotira o'tkazish qobiliyatini o'lchashi kerak.
Hodisaga asoslangan ko'rish va tasvir kadrlari yordamida mashina ko'rish
| Hajmi | tasvir kadrlari yordamida mashina ko'rish | Voqealarga asoslangan ko'rish |
|---|---|---|
| Sensor chiqishi | Belgilangan oraliqlarda zich tasvirlar | Asinxron nashrida o'zgarishi hodisalari |
| Vaqt haqida ma'lumot | EHM va kadr kadansiyasi bilan cheklangan | Alohida voqealar bilan bog'liq nozik vaqt belgilari |
| Statik sahna ma'lumotlari | To'liq kadrlar kelishda davom etmoqda | O'zgarmagan hududlardan ozgina faollik |
| Fazoviy / rangli kontekst | Kuchli; mutlaq tasvir intensivligi va etuk rangli tasvir | Bilvosita; hodisa oqimi an'anaviy tasvirni emas, balki o'zgarishlarni tasvirlaydi |
| Yuqori tezlikda harakatlanish | Tegishli ekspozitsiya va kadr tezligini talab qiladi | Tez vaqtinchalik o'zgarishlarga juda mos keladi |
| Dasturiy ta'minot ekotizimlari | Juda etuk CV va chuqur o'rganish vositalari | Ko'proq ixtisoslashgan algoritmlar, taqdimotlar va ma'lumotlar to'plamlari |
| Eng yaxshi mos | Umumiy tasvir, tanib olish, tekstura va inson o‘qiy oladigan tasvirlar | Tez dinamika, vaqtinchalik xususiyatlar va past kechikishli harakatni idrok etish |
Kechikish: bitta komponentni emas, balki sensordan qaror qabul qilishni o'lchash
Voqealar kameralari ko'pincha past kechikishni idrok etish uchun tanlanadi, ammo sensor vaqt tamg'asi o'lchamlari dasturning kechikishi bilan bir xil emas. Foydali muhandislik ko'rsatkichi - bu haqiqiy o'zgarishdan tizim interfeysida paydo bo'ladigan qarorgacha bo'lgan vaqt. Ushbu yo'l sensorli javob, tashish, buferlash, oldindan ishlov berish, xulosa chiqarish yoki kuzatish, dasturiy ta'minotni rejalashtirish va chiqish aloqasini o'z ichiga oladi.
Xuddi shu qoida ramka kamerasiga ham tegishli. To'g'ridan-to'g'ri xotira yo'llariga ega bo'lgan yaxshi mo'ljallangan yuqori kadr tezlikli quvur liniyasi yomon integratsiyalangan hodisa quvur liniyasidan ustun bo'lishi mumkin. Shuning uchun arxitektura vakillik harakati, yorug'lik va algoritmlar bilan taqqoslanishi kerak.
Voqealarga asoslangan koʻrish dasturi va SDK mulohazalar
Voqealarga asoslangan ko'rish dasturlari to'plami odatda qurilma konfiguratsiyasini, hodisalarni dekodlashni, vaqt belgilarini qayta ishlashni, filtrlashni, vizualizatsiyani, yozishni va takrorlashni talab qiladi. Voqealarga asoslangan foydali ko'rish SDK, shuningdek, algoritmni ishlab chiqish jarayonida tashqi triggerlar va boshqa sensorlarni sinxronlashtirish, hodisalar tezligini tekshirish va olingan ketma-ketlikni qayta tiklashni osonlashtirishi kerak.
Ishlab chiqarish tizimlari uchun dasturiy ta'minot ish stolidan tashqariga chiqishi kerak SDK. Jamoalar voqealar qanday qilib FPGA, MCU, MPU yoki NPU manbalariga koʻchirilishini belgilashi kerak; kalibrlash qanday saqlanadi; vaqt qanday sinxronlashtiriladi; va dala jurnallarini qanday qilib takrorlash mumkin. Agar algoritm hodisalarni to'plangan ramkalarga aylantirsa, yig'ish oynasi aniq kechikish va ma'lumot almashinuviga aylanadi.
Voqealarga asoslangan ko'rish foydali bo'lgan joyda
Voqealarga asoslangan ko'rishning odatiy ilovalariga yuqori tezlikda nishonni kuzatish, robot manipulyatsiyasi, optik oqim, tebranish yoki harakat tahlili, tezkor sanoat tekshiruvi va yorqinligi katta o'zgarishlarga ega bo'lgan sahnalarda avtonom idrok etish kiradi. Eng kuchli foydalanish holatlari odatda oddiy kamerani almashtirishdan ko'ra nozik vaqtinchalik tuzilma to'g'ridan-to'g'ri qarorni yaxshilaydigan holatlardir.
Mudofaa va avtonom platformalar uchun voqealarga asoslangan ko'rish
Mudofaa, xavfsizlik va avtonom tizimlarda hodisalarni aniqlash tezkor harakat belgilari, kuzatuv tajribalari, past kechikishli optik yuklar va sensorli termoyadroviy tadqiqotlar uchun tegishli bo'lishi mumkin. Tizim hali ham sinxronizatsiya, deterministik interfeyslar, atrof-muhit dizayni, ro'yxatga olish, kiberxavfsizlik va tekshirish kabi platforma talablariga javob berishi kerak. Voqealarni sezish missiya zanjirining tarkibiy qismlaridan biri bo'lib, o'z-o'zidan to'liq idrok yechimi emas.
Gibrid kamera arxitekturasi yaxshiroq bo'lganda
Ko'pgina amaliy tizimlar usullarni birlashtirishdan foyda ko'radi. Hodisalar vaqtinchalik tafsilotga hissa qo'shganda, ramkalar semantik kontekst va odamlar o'qiy oladigan tasvirlarni taqdim etishi mumkin. Termal, inertial yoki diapazonli sensorlar mustahkamlikni oshirishi mumkin. Fusion, ayniqsa, ilovaga ikkala “bu nima?” kerak bo'lganda foydalidir. va "aniq qachon va qanday harakat qilgan?"
Gibrid tizimlar uchun umumiy vaqt muhim ahamiyatga ega. Algoritmlarni yakunlashdan oldin apparat triggerlari, vaqt tamg'asi domenlari va kalibrlash ko'rib chiqilishi kerak.
Amaliy hodisaga asoslangan ko'rish mos yozuvlar arxitekturasi
Malumot tizimi FPGA da deterministik filtrlash va vaqt tamgʻasi ishini, NPU yoki tezlatkichda AI xulosasini, MPU da ilova xizmatlarini va MCU yoki real vaqt yadrosida nazoratni joylashtirishi mumkin. To'g'ri bo'lim hodisa tezligi, model arxitekturasi, xotira tarmoqli kengligi va tashqi interfeyslarga bog'liq. Bizning FPGA va NPU va MPU edge AI yoʻriqnomasi bu bo'limni batafsilroq tushuntiradi.
Tanlovni tekshirish ro'yxati
- Maksimal qabul qilinadigan sensordan qaror qabul qilish kechikishini aniqlang.
- Kutilayotgan harakat tezligini, yorug'lik diapazonini va eng yomon sahna faolligini o'lchang.
- Tasvirning mutlaq intensivligi, rangi yoki odam o‘qiy oladigan video talab qilinadimi, hal qiling.
- Oddiy va eng yomon sahnalar uchun tarmoqli kengligi va xotira harakatini taxmin qiling.
- Algoritm, maʼlumotlar toʻplami va hodisaga asoslangan koʻrish SDK etukligini tasdiqlang.
- Ramka, termal, inertial yoki tashqi tetik manbalari bilan sinxronlashni rejalashtirish.
- Hisoblash, tashuvchi va termal dizaynni muzlatishdan oldin to'liq quvur liniyasini taqqoslang.
Ilova kerak bo'lgan kuzatuvni tanlang
| Ilova savol | Avval baholash uchun yondashuv | Nimani sinab ko'rish kerak |
|---|---|---|
| Chop etilgan yorliq yoki rang to'g'rimi? | Kadrga asoslangan tasvirlash | Ruxsat, yorug'lik, ta'sir qilish va tekshirish aniqligi |
| Tez harakatlanuvchi chekka qachon hududni kesib o'tgan? | Voqealarga asoslangan sezish | Vaqt sifati, sahna faolligi, noto'g'ri hodisalar va to'liq chiqish kechikishi |
| Qaysi ob'ekt mavjud va u qanchalik aniq harakat qilmoqda? | Gibrid ramka va hodisa quvuri | Kalibrlash, umumiy vaqt, vakillik va termoyadroviy foyda |
| Tizim o'zgaruvchan yorug'lik yoki tebranish bilan ishlaydimi? | Ikkala nomzod ham bir xil vakillik shartlarida | Ilovaning aniqligi, hodisa tezligi yoki kadr sifati va resurslardan foydalanish |
Nomzodlarni solishtirganda bir xil vazifa va sahnadan foydalaning. Keskin vizualizatsiyaning o'zi aniqlash natijasi emas va hodisalar sonining ko'pligi foydali ma'lumotlarning dalili emas. Taqqoslashni yozishdan oldin chiqish ko'rsatkichini kelishib oling.
Kechikish byudjetini yaratishning amaliy usuli
soniyasiga 60 kadrda kadrlar oraligʻi taxminan 16.7 ms.ni tashkil qiladi. Bir lahzali namunalar orasida sahna oʻzgarishi bir xilda sodir boʻladigan soddalashtirilgan modelda keyingi namunaga oʻrtacha kutish vaqti taxminan 8.3 milodiyni tashkil qiladi. Ta'sir qilish, o'qish, tashish va qayta ishlash qo'shimcha effektlardir. Bu arifmetika namuna olish oralig'ini tavsiflaydi; bu o'lchangan kamera kechikishi emas.
Voqealar quvurida kechikishni qo'shadigan dizayn tanlovlari ham mavjud. Agar ilova ishlov berishdan oldin 5 ms hodisa oynasi yopilishini kutsa, ushbu oynaning boshiga yaqin voqea faqat shu bosqichda deyarli 5 ms kutishi mumkin. Nozik sensorli vaqt belgilari buferlash tanlovini olib tashlamaydi. Ushbu misollardan o'lchashga arziydigan bosqichlarni aniqlash uchun foydalaning, har ikkala sensor uchun qat'iy afzalliklarni talab qilish uchun emas.
| Chegara | Ramka quvur liniyasi | Hodisa quvuri |
|---|---|---|
| Kuzatish | EHM va namuna vaqti | Yorqinlikni o'zgartirish javobi va vaqt tamg'asini yaratish |
| Transport | O'qish, havola va xost buferlari | Hodisalarni kodlash, havola va dekoder buferlari |
| Tayyorgarlik | Tasvirni o'zgartirish, o'lchamini o'zgartirish va tensorni tayyorlash | Filtrlash, vaqt oynalari va tasvirni qurish |
| Qaror | Algoritm va chiqishni rejalashtirish | Algoritm va chiqishni rejalashtirish |
Kuzatuv soati va natija soati o'rtasidagi haqiqiy munosabat bilan chiqish yoshini o'lchang. Kamera orqali o'qilgan qo'ng'iroq oxirida dasturiy ta'minot vaqt tamg'asi ekspozitsiya vaqtini anglatmaydi. Xuddi shunday, aniq voqea vaqt tamg'asi ham xost bilan moslashtirilmagan soatga tegishli bo'lishi mumkin.
Boshqa muhandis takrorlashi mumkin bo'lgan taqqoslashni loyihalashtiring
- Sozlamalarni tanlashdan oldin vazifani, maqsadli harakatni, yoritish diapazonini va kerakli chiqishni aniqlang.
- Hujjat optikasi, ko'rish maydoni, sensor sozlamalari, dasturiy ta'minot versiyalari va kalibrlash.
- Tegishli holatlarda miltillash yoki tebranish kabi qiyin sahnalarni o'z ichiga olgan vakillik shartlarini yozib oling.
- Vazifaning aniqligini, chiqish kechikishini, ma'lumotlar tezligini va barqaror ishlov berish yukini birgalikda baholang.
- Algoritm o'zgarishlarini bir xil kirishlarda solishtirish uchun yozuvlar va konfiguratsiya fayllarini saqlang.
Amalga oshirish bosqichi uchun bizning voqea kamerasi dasturi va SDK qoʻllanma ma'lumotlarni taqdim etish, yozib olish va joylashtirishni o'z ichiga oladi. dan foydalaning vaqtni sinxronlashtirish bo'yicha qo'llanma uslublarni birlashtirganda.
Sifatni tekshirish uchun qaysi kamerani baholashingiz kerak?
Kuzatishingiz kerak bo'lgan nuqsondan boshlang. Yo'qolgan komponent, bosilgan yorliq yoki sirt belgisi boshqariladigan optika va yorug'lik bilan an'anaviy ramka tasviriga juda mos kelishi mumkin. Muhim signal tezkor harakat yoki o'zgarishning aniq vaqti bo'lsa, xuddi shu vazifaga nisbatan voqea sezilishini baholang.
Eng kichik tegishli xususiyatni, ob'ekt tezligini, ko'rish maydonini, yorug'lik o'zgarishini va mavjud qaror vaqtini yozing. Baholashda normal ishlab chiqarish o'zgarishini saqlang: turli partiyalar, smenalar, sirt qoplamalari va qismlarning joylashuvi. O'tkazib yuborilgan nuqsonlar va noto'g'ri rad etishlarni, shuningdek, ishlov berish tezligini solishtiring.
Voqealarni sezish har bir tekshirish tizimi uchun talab emas, balki sinovga nomzoddir. Bizning sanoat ko'rish va sifat nazorati yechimi kameradan mashinaga integratsiya va pilot rejalashtirish uchun.
Voqealarga asoslangan ko'rish haqida tez-tez so'raladigan savollar
Voqealarga asoslangan ko'rish nima?
Voqealarga asoslangan ko'rish - bu sensorli yondashuv bo'lib, piksellar to'liq tasvir ramkasini kutish o'rniga mahalliy yorqinlik o'zgarishini asenkron ravishda xabar qiladi. Har bir hodisa odatda piksel koordinatalarini, qutblarini va vaqt tamg'asini o'z ichiga oladi, bu esa harakat bilan bog'liq ma'lumotlarni nozik vaqtinchalik ruxsat bilan ishlov berish quvuriga etkazish imkonini beradi.
Hodisaga asoslangan ko'rish va tasvir kadrlari yordamida mashina ko'rish o'rtasidagi farq nima?
tasvir kadrlari yordamida mashina ko'rish belgilangan vaqt oralig'ida to'liq tasvirlarni oladi, hodisaga asoslangan ko'rish hisobotlari esa ular sodir bo'lganda o'zgaradi. Ramka kameralari zich fazoviy va rangli kontekstni ta'minlaydi; hodisa sensorlari statik-sahnaning ortiqcha ma'lumotlarini kamaytirishi va tez harakatlanish vaqtini yaxshilashi mumkin. Eng yaxshi arxitektura vazifaga, yorug'likka, dasturiy ta'minot to'plamiga va kerakli qaror qabul qilish vaqtiga bog'liq.
Voqealarga asoslangan ko'rish uchun qanday dastur yoki SDK kerak?
Voqealarga asoslangan ko'rish dasturi an'anaviy tasvir tensorlari o'rniga asinxron hodisa oqimlarini boshqarishi kerak. Amaliy SDK sensor konfiguratsiyasi, hodisalarni filtrlash, vaqt belgilarini qayta ishlash, vizualizatsiya, yozib olish, ijro etish, kalibrlash, sinxronlashtirish va kuzatuv yoki neyron-tarmoq quvurlari tomonidan talab qilinadigan tasvirlarga aylantirishni qo'llab-quvvatlashi kerak.
Voqealarga asoslangan ko'rish qayerda qo'llaniladi?
Voqealarga asoslangan ko'rishning odatiy ilovalariga yuqori tezlikdagi robototexnika, harakatni kuzatish, avtonom tizimlar, sanoat monitoringi va sahnaning tez o'zgarishi yoki qiyin yorug'lik vaqtni muhim deb hisoblaydigan sezgi kiradi. Shuningdek, u gibrid idrok tizimlarida an'anaviy kameralarni to'ldirishi mumkin.
Mudofaa platformalarida voqealarga asoslangan ko'rishdan qanday foydalanish mumkin?
Mudofaa va avtonom platformalar uchun hodisa sensorlari yuqori dinamik diapazon yoki tez harakat ostida past kechikishli harakat signallarini, kuzatish va idrok etishni qo'llab-quvvatlashi mumkin. O'rnatish mumkin bo'lgan tizim hali ham deterministik vaqt belgilarini, mustahkam interfeyslarni, sinxronlashtirilgan sensor ma'lumotlarini birlashtirishni, tasdiqlangan dasturiy ta'minotni va eng yomon hodisalar tezligini sinchkovlik bilan o'lchashni talab qiladi.
Hodisaga asoslangan tasvir sensori har doim o'tkazish qobiliyatini pasaytiradimi?
Yoʻq. Statik sahnalar kam maʼlumot hosil qilishi mumkin, ammo tebranish, miltillash yoki yuqori teksturali harakat hodisalarning zich oqimlarini yaratishi mumkin. Shuning uchun interfeys va xotira dizayni hodisani sezish har doim past tarmoqli kengligi deb o'ylamasdan, o'lchangan eng yomon hodisa tezligidan foydalanishi kerak.
Mashinani ko'rish, termal tasvirlash va tekshirish savoli
Kompyuter ko'rish vizual ma'lumotlardan foydali ma'lumotlarni olishning keng sohasidir. Sanoat mashinasini ko'rishda tizim, shuningdek, chiziqning yorug'ligi, harakati va vaqt cheklovlari ostida takrorlanadigan tekshirish natijasini berishi kerak. Ilova haqiqatda kuzatishi kerak bo'lgan nuqson yoki harakat xususiyatini sinab ko'rish orqali kadrga asoslangan va hodisaga asoslangan sezish o'rtasidan tanlang.
Termal tasvir boshqa o'lchov hajmini qo'shadi: sirt harorati bilan bog'liq infraqizil nurlanish. Ko'rinadigan kamera yig'ilish yoki sirt nuqsonlarini, termal kamera esa harorat rejimini ko'rsatishi mumkin. Ushbu usullar bir-birini to'ldiruvchi bo'lishi mumkin, ammo hech biri har bir nosozlikning ko'rinishini kafolatlamaydi. Tekshiruv tizimiga birlashtirishdan oldin tekislash, o'lchash shartlari va qaror qabul qilish qoidalarini aniqlang.
Vizual va issiqlik sifatini tekshirishni o'rganing
Texnik ma'lumotnomalar
- Gallego va boshqalar: Voqealarga asoslangan ko'rish - so'rov
- Prophesee: voqealar oqimi va oynali kirish
Vaqt misollari illyustrativ hisob-kitoblardir. Mahsulot darajasidagi kechikish va aniqlash da'volari to'liq amalga oshirishni o'lchashni talab qiladi.
Haqiqiy qaror qabul qilish davringiz bo'yicha voqealarga asoslangan ko'rishni baholang.
Maqsad, harakat profili, interfeyslar, atrof-muhit va uchuvchi miqdorini baham ko'ring. Biz talabni sensor, FPGA va mahalliy hisoblash arxitekturasida xaritalashimiz mumkin.