მოვლენებზე დაფუძნებული მანქანური ხედვის პროგრამული უზრუნველყოფა: SDK, მონაცემთა ფორმატები და ინტეგრაცია

რას ამუშავებს მოვლენებზე დაფუძნებული ხედვის პროგრამული უზრუნველყოფა?

მოვლენის კამერა იტყობინება სიკაშკაშის ცვლილებებს, ვიდრე ჩვეულებრივი ვიდეო კადრის მიწოდებას ყოველ ინტერვალში. დეკოდირებული მოვლენა, როგორც წესი, განსაზღვრავს პიქსელს, პოლარობას და დროის ნიშნულს. თქვენმა აპლიკაციამ უნდა შეინარჩუნოს ამ ველების მნიშვნელობა შეძენის, ფილტრაციის, ჩაწერისა და დასკვნის საშუალებით. The მოვლენებზე დაფუძნებული და ჩარჩოზე დაფუძნებული შედარება განმარტავს, როდის არის ეს მონაცემთა მოდელი სასარგებლო.

განასხვავებენ დიზაინში სამ ფორმატს: სენსორს ან სატრანსპორტო დაშიფვრას, პროგრამული უზრუნველყოფის მიერ გამოყენებული მოვლენის დეკოდირებული წარმოდგენას და ალგორითმზე გადაცემული წარმოდგენას. ფაილი, რომელიც შეიცავს ნედლეულ სენსორულ პაკეტებს, დეკოდირებული მოვლენების მასივს და დაგროვილ სურათს, ემსახურება სხვადასხვა მიზნებს. მათ შორის კონვერტაციამ შეიძლება შეცვალოს მეხსიერების გამოყენება, დამუშავების ღირებულება და დროის ქვემოთ ხელმისაწვდომი ინფორმაცია.

როგორ შევაფასოთ ღონისძიება-კამერა SDK

დაიწყეთ ზუსტი სენსორით, კამერის პროგრამული უზრუნველყოფით და მასპინძელი პლატფორმით. დესკტოპის დემონსტრირება არ ამტკიცებს ჩაშენებული Linux სურათის, ARM პროცესორის ან თქვენი წარმოების ლიცენზიის მხარდაჭერას. სთხოვეთ მომწოდებელს მხარდაჭერილი ოპერაციული სისტემები, CPU არქიტექტურები, გადანაწილების პირობები და კამერის ინტერფეისის მოთხოვნები. გადაამოწმეთ განაცხადი განზრახ პლატფორმაზე, ვიდრე გადამზიდავი მიკროსქემის დაფა გამოთვლით მოდულისთვის.

• შეძენა: მოწყობილობის აღმოჩენა, კონფიგურაცია, გაშიფვრა და შეცდომის შესახებ შეტყობინება.
• დრო: დროის ანაბეჭდის წარმოშობა, გადახვევის მართვა, გარე ტრიგერები და მრავალ მოწყობილობათა გასწორება.
• განმეორებადობა: ჩანაწერები, კონფიგურაციის ექსპორტი და პროგრამული უზრუნველყოფის იდენტიფიცირებული ვერსია.
• განლაგება: უთავო ოპერაცია, მხარდაჭერილი ბინარები, გადატვირთვის ქცევა და ლიცენზიის პირობები.
• დაკვირვებადობა: მოვლენების რაოდენობა, რიგის სიღრმე, ამოვარდნილი მონაცემები და მასპინძელი რესურსების გამოყენება.

ააშენეთ მილსადენი მკაფიო დროის საზღვრებით

შეინახეთ შენაძენი ძვირადღირებული ვიზუალიზაციისგან, დისკის ჩაწერისა და მოდელის დასკვნისგან განცალკევებით. წინააღმდეგ შემთხვევაში, ნელ მომხმარებელს შეუძლია გადადოს ახალი მონაცემები ალგორითმის დაწყებამდე. განსაზღვრეთ შემოსაზღვრული რიგი და აშკარა გადატვირთვის პოლიტიკა. უძველესი ფანჯრის ჩამოგდება, ინტერესის რეგიონის შემცირება და შეცდომით გაჩერება სხვადასხვა შედეგებს იწვევს; აირჩიეთ ქცევა, რომელიც შეესაბამება აპლიკაციას და ჩაწერეთ, როდესაც ეს მოხდება.

გამოიყენეთ სენსორული დროის ანაბეჭდები, რათა აღწეროთ, როდის მოხდა დაკვირვება, და მონოტონური მასპინძელი საათი დამუშავების ხანგრძლივობის გასაზომად. დროის ანაბეჭდების გამოკლება დაუკავშირებელ საათებს არ წარმოქმნის მოქმედი ბოლოდან ბოლომდე შეყოვნებას. თუ კამერა უნდა იყოს შერწყმული IMU ან ჩვეულებრივი კამერით, დაადგინეთ საათის კავშირი და კალიბრაციის პროცესი, რომელიც აღწერილია ჩვენს სენსორული შერწყმის სინქრონიზაციის სახელმძღვანელო.

მცირე ჩაწერა-შემოწმების მაგალითი

Python-ის შემდეგი მაგალითი ითვლის დეკოდირებულ მოვლენებს მხარდაჭერილ ჩანაწერში და აცნობებს მათი დროის ანაბეჭდების ხანგრძლივობას. ის იყენებს დოკუმენტურ Metavision ნაკადს API და მოითხოვს თავსებადი SDK ინსტალაციას და ჩაწერას. ეს არის ინსპექტირების მაგალითი და არა ALVEXIS კამერის საორიენტაციო ნიშანი ან დეტექტორი.

import argparse
from metavision_sdk_stream import Camera, CameraStreamSlicer

parser = argparse.ArgumentParser()
parser.add_argument("recording")
args = parser.parse_args()
source = Camera.from_file(args.recording)
count, first_us, last_us = 0, None, None

for batch in CameraStreamSlicer(source.move()):
    events = batch.events
    if events.size:
        start = int(events["t"][0])
        end = int(events["t"][-1])
        first_us = start if first_us is None else min(first_us, start)
        last_us = end if last_us is None else max(last_us, end)
        count += int(events.size)

span_s = 0.0 if first_us is None else (last_us - first_us) / 1_000_000
print({"events": count, "event_timestamp_span_s": span_s})

დროის შტამპი მოიცავს პირველ და ბოლო დაკვირვებულ მოვლენას; ის არ ზომავს ფაილის ხანგრძლივობას, შეძენის შეფერხებას ან დამუშავების გამტარუნარიანობას. ცარიელი პერიოდები და საათის გადატვირთვა საჭიროებს ცალკე დამუშავებას წარმოებაში. შეინახეთ მოწყობილობის კონფიგურაცია და მეტამონაცემების ჩაწერა ფაილთან ერთად, რათა მეორე ინჟინერმა შეძლოს ინტერპრეტაციის რეპროდუცირება.

დაადასტურეთ მშვიდი სცენები, დაკავებული სცენები და წარუმატებლობის აღდგენა

შეამოწმეთ სტაციონარული სცენა, წარმომადგენლობითი მოძრაობა და განზრახ მომთხოვნი სცენა. ციმციმა, კამერის ვიბრაცია და ტექსტურირებული მოძრაობა შეუძლია შექმნას მოვლენის ძალიან განსხვავებული სიჩქარე. ჩაწერეთ როგორც ტიპიური ქცევა, ასევე ყველაზე უარესი შემთხვევა, რაც თქვენ შენიშნეთ. გაიმეორეთ საცავი და კომუნიკაციები აქტიური, რადგან ეს დატვირთვები კონკურენციას უწევს მეხსიერების და პროცესორის დროს.

როდესაც ალგორითმი იყენებს ნერვულ ქსელს, შეამოწმეთ მიღებული ტენსორი და მხარდაჭერილი ოპერატორები ამაჩქარებლის არჩევამდე. მოვლენის კამერას ავტომატურად არ სჭირდება NPU, ხოლო NPU ავტომატურად არ იღებს მოვლენის ნაკადს. ჩვენი FPGA, NPU და MPU არქიტექტურის სახელმძღვანელო გამოყოფს შეძენის, წინასწარი დამუშავების, დასკვნის და განაცხადის სერვისებს.

კითხვები პროგრამული უზრუნველყოფის სტეკის არჩევამდე

შემიძლია გამოვიყენო ნორმალური კომპიუტერული ხედვის მოდელი?

მხოლოდ თავსებადი შეყვანის წარმოდგენის განსაზღვრისა და მისი ქცევის დადასტურების შემდეგ. სურათებში მოვლენების დაგროვებამ შეიძლება დაუშვას გამოსახულების დამუშავების ეტაპის ხელახალი გამოყენება, მაგრამ ცვლის მონაცემთა განაწილებას და ამატებს დროის ფანჯარას. შეაფასეთ სრული განაცხადი წარმომადგენლობითი მონაცემებით.

ადასტურებს თუ არა სამუშაო ლეპტოპის დემო ჩაშენებულ თავსებადობას?

არა. დაადასტურეთ CPU-ს არქიტექტურა, ოპერაციული სისტემა, სენსორის ინტერფეისი, დრაივერი, SDK ლიცენზია და რეალური სამიზნე პლატფორმის მდგრადი რესურსის გამოყენება.

რა უნდა გავაგზავნო ინტეგრაციის დისკუსიისთვის?

გაგზავნეთ კამერის ან სენსორის მითითება, ნიმუშის ჩაწერა, სავარაუდო გამომავალი, მისაღები დაყოვნება, მასპინძელი პლატფორმა, ინტერფეისი და განლაგების გარემო. ეს მონაცემები საკმარისად კონკრეტულს ხდის დისკუსიას პირველი ინტეგრაციის რისკების გამოსავლენად.

ნეირომორფული ხედვა კომპიუტერული ხედვის მილსადენში

მოვლენის კამერები ხშირად განიხილება ნეირომორფული ხედვის ქვეშ, რადგან მათი გამომავალი ჩანაწერები ცვლის ცალკეულ პიქსელებს და არა სრული სურათების ფიქსირებულ თანმიმდევრობას. მონაცემთა ეს წარმოდგენა ავტომატურად არ უზრუნველყოფს ობიექტის ამოცნობას ან ნერვული ქსელის შედეგს. პროგრამას ჯერ კიდევ სჭირდება განსაზღვრული დავალება, თავსებადი ალგორითმი და გაზომვადი მიღების კრიტერიუმები.

ჩარჩოზე ორიენტირებულ კომპიუტერულ ხედვის ინსტრუმენტებთან ინტეგრაციისას, მოვლენის ნაკადი შეიძლება გარდაიქმნას დროის ფანჯრის სურათად ან სხვა წარმოდგენად. შეინახეთ ორიგინალური დროის შტამპები, თუ დავალება დამოკიდებულია კარგ დროებით ინფორმაციას. სრული კონვერტაციისა და დამუშავების მილსადენის შეფასება; მხოლოდ მიმზიდველი რეკონსტრუირებული სურათი არ ადგენს საბოლოო განაცხადის სიზუსტეს ან ლატენტურობას.

დაგეგმეთ დრო სენსორის მონაცემთა შერწყმამდე