நிகழ்வு அடிப்படையிலான பார்வை மென்பொருள்: SDKகள், தரவு வடிவங்கள் மற்றும் ஒருங்கிணைப்பு

நிகழ்வு அடிப்படையிலான பார்வை மென்பொருள் செயல்முறை என்ன?

ஒரு நிகழ்வு கேமரா ஒவ்வொரு இடைவெளியிலும் வழக்கமான வீடியோ சட்டத்தை வழங்குவதை விட பிரகாசத்தில் ஏற்படும் மாற்றங்களைப் புகாரளிக்கிறது. டிகோட் செய்யப்பட்ட நிகழ்வு பொதுவாக ஒரு பிக்சல், ஒரு துருவமுனைப்பு மற்றும் நேர முத்திரையை அடையாளப்படுத்துகிறது. கையகப்படுத்தல், வடிகட்டுதல், பதிவு செய்தல் மற்றும் அனுமானம் மூலம் உங்கள் விண்ணப்பம் அந்தப் புலங்களின் பொருளைப் பாதுகாக்க வேண்டும். தி நிகழ்வு அடிப்படையிலான மற்றும் சட்ட அடிப்படையிலான ஒப்பீடு அந்த தரவு மாதிரி எப்போது பயனுள்ளதாக இருக்கும் என்பதை விளக்குகிறது.

வடிவமைப்பில் மூன்று வடிவங்களை வேறுபடுத்துங்கள்: சென்சார் அல்லது போக்குவரத்து குறியாக்கம், மென்பொருளால் பயன்படுத்தப்படும் டிகோட் செய்யப்பட்ட நிகழ்வு பிரதிநிதித்துவம் மற்றும் ஒரு அல்காரிதத்திற்கு அனுப்பப்பட்ட பிரதிநிதித்துவம். மூல சென்சார் பாக்கெட்டுகள், டிகோட் செய்யப்பட்ட நிகழ்வுகளின் வரிசை மற்றும் திரட்டப்பட்ட படம் ஆகியவை வெவ்வேறு நோக்கங்களுக்காக சேவை செய்கின்றன. அவற்றுக்கிடையே மாற்றுவது நினைவக பயன்பாடு, செயலாக்க செலவு மற்றும் கீழ்நிலையில் கிடைக்கும் நேரத் தகவலை மாற்றலாம்.

நிகழ்வு கேமராவை எவ்வாறு மதிப்பிடுவது SDK

சரியான சென்சார், கேமரா ஃபார்ம்வேர் மற்றும் ஹோஸ்ட் இயங்குதளத்துடன் தொடங்கவும். டெஸ்க்டாப் ஆர்ப்பாட்டம் உட்பொதிக்கப்பட்ட Linux படம், ARM செயலி அல்லது உங்கள் தயாரிப்பு உரிமத்திற்கான ஆதரவை நிறுவாது. ஆதரிக்கப்படும் இயக்க முறைமைகள், CPU கட்டமைப்புகள், மறுபகிர்வு நிலைமைகள் மற்றும் கேமரா இடைமுகத் தேவைகள் ஆகியவற்றை வழங்குநரிடம் கேளுங்கள். ஒரு கம்ப்யூட் மாட்யூலுக்கு கேரியர் சர்க்யூட் போர்டைச் செய்வதற்கு முன், உத்தேசிக்கப்பட்ட பிளாட்ஃபார்மில் பயன்பாட்டைச் சரிபார்க்கவும்.

• கையகப்படுத்தல்: சாதனம் கண்டறிதல், கட்டமைப்பு, டிகோடிங் மற்றும் பிழை அறிக்கையிடல்.
• நேரம்: நேர முத்திரை தோற்றம், மாற்றுதல் கையாளுதல், வெளிப்புற தூண்டுதல்கள் மற்றும் பல சாதன சீரமைப்பு.
• மறுஉருவாக்கம்: பதிவுகள், கட்டமைப்பு ஏற்றுமதி மற்றும் அடையாளம் காணப்பட்ட மென்பொருள் பதிப்பு.
• வரிசைப்படுத்தல்: தலையில்லாத செயல்பாடு, ஆதரிக்கப்படும் பைனரிகள், மறுதொடக்கம் நடத்தை மற்றும் உரிம விதிமுறைகள்.
• கவனிப்பு: நிகழ்வு எண்ணிக்கை, வரிசை ஆழம், கைவிடப்பட்ட தரவு மற்றும் ஹோஸ்ட் வள பயன்பாடு.

வெளிப்படையான நேர எல்லைகளுடன் ஒரு பைப்லைனை உருவாக்கவும்

விலையுயர்ந்த காட்சிப்படுத்தல், வட்டு எழுதுதல் மற்றும் மாதிரி அனுமானம் ஆகியவற்றிலிருந்து கையகப்படுத்துதலை தனித்தனியாக வைத்திருங்கள். இல்லையெனில், மெதுவான நுகர்வோர் புதிய தரவை அல்காரிதம் தொடங்குவதற்கு முன்பே தாமதப்படுத்தலாம். வரம்புக்குட்பட்ட வரிசை மற்றும் வெளிப்படையான ஓவர்லோட் கொள்கையை வரையறுக்கவும். பழமையான சாளரத்தைக் கைவிடுதல், ஆர்வமுள்ள பகுதியைக் குறைத்தல் மற்றும் பிழையுடன் நிறுத்துதல் ஆகியவை வெவ்வேறு விளைவுகளை ஏற்படுத்துகின்றன; பயன்பாட்டிற்குப் பொருந்தக்கூடிய நடத்தையைத் தேர்ந்தெடுத்து அது நிகழும்போது பதிவு செய்யவும்.

அவதானிப்புகள் எப்போது நிகழ்ந்தன என்பதை விவரிக்க சென்சார் நேர முத்திரைகளைப் பயன்படுத்தவும். தொடர்பில்லாத கடிகாரங்களிலிருந்து நேர முத்திரைகளைக் கழிப்பதால், செல்லுபடியாகும் முடிவு முதல் இறுதி வரை தாமதம் ஏற்படாது. கேமராவை IMU அல்லது வழக்கமான கேமராவுடன் இணைக்க வேண்டும் என்றால், எங்களில் விவரிக்கப்பட்டுள்ள கடிகார உறவு மற்றும் அளவுத்திருத்த செயல்முறையை நிறுவவும் சென்சார்-இணைவு ஒத்திசைவு வழிகாட்டி.

ஒரு சிறிய பதிவு ஆய்வு உதாரணம்

பின்வரும் பைதான் எடுத்துக்காட்டு, ஆதரிக்கப்படும் பதிவில் டிகோட் செய்யப்பட்ட நிகழ்வுகளைக் கணக்கிடுகிறது மற்றும் அவற்றின் நேர முத்திரைகளின் இடைவெளியைப் புகாரளிக்கிறது. இது ஆவணப்படுத்தப்பட்ட Metavision ஸ்ட்ரீமிங்கைப் பயன்படுத்துகிறது API மற்றும் இணக்கமான SDK நிறுவல் மற்றும் பதிவு தேவைப்படுகிறது. இது ஒரு ஆய்வு உதாரணம், ALVEXIS கேமரா பெஞ்ச்மார்க் அல்லது டிடெக்டர் அல்ல.

import argparse
from metavision_sdk_stream import Camera, CameraStreamSlicer

parser = argparse.ArgumentParser()
parser.add_argument("recording")
args = parser.parse_args()
source = Camera.from_file(args.recording)
count, first_us, last_us = 0, None, None

for batch in CameraStreamSlicer(source.move()):
    events = batch.events
    if events.size:
        start = int(events["t"][0])
        end = int(events["t"][-1])
        first_us = start if first_us is None else min(first_us, start)
        last_us = end if last_us is None else max(last_us, end)
        count += int(events.size)

span_s = 0.0 if first_us is None else (last_us - first_us) / 1_000_000
print({"events": count, "event_timestamp_span_s": span_s})

நேர முத்திரை இடைவெளியானது முதல் மற்றும் கடைசியாக கவனிக்கப்பட்ட நிகழ்வை உள்ளடக்கியது; இது கோப்பு காலம், கையகப்படுத்தல் தாமதம் அல்லது செயலாக்க செயல்திறன் ஆகியவற்றை அளவிடாது. வெற்று காலங்கள் மற்றும் கடிகார மீட்டமைப்புகளுக்கு உற்பத்தியில் தனித்தனி கையாளுதல் தேவை. இரண்டாவது பொறியாளர் விளக்கத்தை மீண்டும் உருவாக்குவதற்கு, சாதன உள்ளமைவு மற்றும் மெட்டாடேட்டாவைப் பதிவுசெய்யும் கோப்புடன் வைக்கவும்.

அமைதியான காட்சிகள், பிஸியான காட்சிகள் மற்றும் தோல்வி மீட்பு ஆகியவற்றை சரிபார்க்கவும்

ஒரு நிலையான காட்சி, பிரதிநிதி இயக்கம் மற்றும் வேண்டுமென்றே கோரும் காட்சியை சோதிக்கவும். ஃப்ளிக்கர், கேமரா அதிர்வு மற்றும் கடினமான இயக்கம் ஆகியவை வெவ்வேறு நிகழ்வு விகிதங்களை உருவாக்கலாம். வழக்கமான நடத்தை மற்றும் நீங்கள் கவனித்த மோசமான நிலை இரண்டையும் பதிவு செய்யவும். சேமிப்பகம் மற்றும் தகவல்தொடர்புகள் செயலில் உள்ளதை மீண்டும் செய்யவும், ஏனெனில் அந்த பணிச்சுமைகள் நினைவகம் மற்றும் CPU நேரத்திற்கு போட்டியிடுகின்றன.

அல்காரிதம் ஒரு நரம்பியல் நெட்வொர்க்கைப் பயன்படுத்தும் போது, முடுக்கியைத் தேர்ந்தெடுக்கும் முன் அதன் விளைவாக வரும் டென்சர் மற்றும் ஆதரிக்கப்படும் ஆபரேட்டர்களைச் சரிபார்க்கவும். நிகழ்வு கேமராவிற்கு தானாகவே NPU தேவையில்லை, மேலும் NPU நிகழ்வு ஸ்ட்ரீமை தானாகவே ஏற்காது. எங்கள் FPGA, NPU மற்றும் MPU கட்டிடக்கலை வழிகாட்டி கையகப்படுத்தல், முன்செயலாக்குதல், அனுமானம் மற்றும் பயன்பாட்டுச் சேவைகளைப் பிரிக்கிறது.

மென்பொருள் அடுக்கைத் தேர்ந்தெடுக்கும் முன் கேள்விகள்

நான் சாதாரண கணினி பார்வை மாதிரியைப் பயன்படுத்தலாமா?

இணக்கமான உள்ளீடு பிரதிநிதித்துவத்தை வரையறுத்து அதன் நடத்தையை சரிபார்த்த பின்னரே. நிகழ்வுகளை படங்களாகக் குவிப்பது படச் செயலாக்க நிலையை மீண்டும் பயன்படுத்த அனுமதிக்கலாம், ஆனால் தரவு விநியோகத்தை மாற்றி நேரச் சாளரத்தைச் சேர்க்கிறது. பிரதிநிதி தரவுகளில் முழுமையான விண்ணப்பத்தை மதிப்பீடு செய்யவும்.

வேலை செய்யும் மடிக்கணினி டெமோ உட்பொதிக்கப்பட்ட இணக்கத்தன்மையை நிரூபிக்கிறதா?

இல்லை. CPU கட்டமைப்பு, இயங்குதளம், சென்சார் இடைமுகம், இயக்கி, SDK உரிமம் மற்றும் உண்மையான இலக்கு தளத்தின் நிலையான ஆதாரப் பயன்பாட்டை உறுதிப்படுத்தவும்.

ஒருங்கிணைப்பு விவாதத்திற்கு நான் எதை அனுப்ப வேண்டும்?

கேமரா அல்லது சென்சார் குறிப்பு, மாதிரி பதிவு, நோக்கம் கொண்ட வெளியீடு, ஏற்றுக்கொள்ளக்கூடிய தாமதம், ஹோஸ்ட் இயங்குதளம், இடைமுகம் மற்றும் வரிசைப்படுத்தல் சூழல் ஆகியவற்றை அனுப்பவும். இந்த உள்ளீடுகள் முதல் ஒருங்கிணைப்பு அபாயங்களை அடையாளம் காண போதுமான விவாதத்தை உறுதி செய்கின்றன.

கணினி பார்வை பைப்லைனில் நியூரோமார்பிக் பார்வை

நிகழ்வு கேமராக்கள் பெரும்பாலும் நியூரோமார்பிக் பார்வையின் கீழ் விவாதிக்கப்படுகின்றன, ஏனெனில் அவற்றின் வெளியீடு பதிவுகள் முழுமையான படங்களின் நிலையான வரிசையை விட தனிப்பட்ட பிக்சல்களில் மாறுகின்றன. அந்த தரவுப் பிரதிநிதித்துவம் தானாகவே பொருள் கண்டறிதல் அல்லது நரம்பியல்-நெட்வொர்க் முடிவை வழங்காது. மென்பொருளுக்கு இன்னும் வரையறுக்கப்பட்ட பணி, இணக்கமான அல்காரிதம் மற்றும் அளவிடக்கூடிய ஏற்றுக்கொள்ளும் அளவுகோல்கள் தேவை.

பிரேம்-சார்ந்த கணினி பார்வை கருவிகளுடன் ஒருங்கிணைக்கும்போது, ஒரு நிகழ்வு ஸ்ட்ரீம் நேர-சாளரப் படமாக அல்லது மற்றொரு பிரதிநிதித்துவமாக மாற்றப்படலாம். பணியானது சிறந்த தற்காலிகத் தகவலைச் சார்ந்திருந்தால் அசல் நேர முத்திரைகளைத் தக்கவைத்துக் கொள்ளுங்கள். முழுமையான மாற்றம் மற்றும் செயலாக்க பைப்லைனை மதிப்பீடு செய்தல்; ஒரு கவர்ச்சிகரமான புனரமைக்கப்பட்ட படம் மட்டுமே இறுதி பயன்பாட்டின் துல்லியம் அல்லது தாமதத்தை நிறுவாது.

சென்சார் தரவு இணைவதற்கு முன் நேரத்தை திட்டமிடுங்கள்