ইভেন্ট-ভিত্তিক দৃষ্টি সফ্টওয়্যার: SDK, ডেটা ফর্ম্যাট এবং ইন্টিগ্রেশন

ইভেন্ট-ভিত্তিক দৃষ্টি সফ্টওয়্যার প্রক্রিয়া কি?

একটি ইভেন্ট ক্যামেরা প্রতি ব্যবধানে একটি প্রচলিত ভিডিও ফ্রেম সরবরাহ করার পরিবর্তে উজ্জ্বলতার পরিবর্তনের প্রতিবেদন করে। একটি ডিকোড করা ইভেন্ট সাধারণত একটি পিক্সেল, একটি পোলারিটি এবং একটি টাইমস্ট্যাম্প সনাক্ত করে। আপনার অ্যাপ্লিকেশন অবশ্যই অধিগ্রহণ, ফিল্টারিং, রেকর্ডিং এবং অনুমানের মাধ্যমে সেই ক্ষেত্রগুলির অর্থ সংরক্ষণ করতে হবে। দ ইভেন্ট-ভিত্তিক বনাম ফ্রেম-ভিত্তিক তুলনা ব্যাখ্যা করে যে ডেটা মডেল কখন দরকারী।

নকশায় তিনটি ফরম্যাটের পার্থক্য করুন: সেন্সর বা পরিবহন এনকোডিং, সফ্টওয়্যার দ্বারা ব্যবহৃত ডিকোড করা ইভেন্ট উপস্থাপনা এবং একটি অ্যালগরিদমে পাস করা উপস্থাপনা। কাঁচা সেন্সর প্যাকেট সমন্বিত একটি ফাইল, ডিকোড করা ইভেন্টের একটি অ্যারে এবং একটি সঞ্চিত চিত্র বিভিন্ন উদ্দেশ্যে কাজ করে। তাদের মধ্যে রূপান্তর করা মেমরির ব্যবহার, প্রক্রিয়াকরণের খরচ এবং ডাউনস্ট্রিমে উপলব্ধ সময়ের তথ্য পরিবর্তন করতে পারে।

কিভাবে একটি ইভেন্ট-ক্যামেরা মূল্যায়ন করবেন SDK

সঠিক সেন্সর, ক্যামেরা ফার্মওয়্যার এবং হোস্ট প্ল্যাটফর্ম দিয়ে শুরু করুন। একটি ডেস্কটপ প্রদর্শন একটি এমবেডেড Linux চিত্র, একটি ARM প্রসেসর বা আপনার উত্পাদন লাইসেন্সের জন্য সমর্থন স্থাপন করে না৷ সমর্থিত অপারেটিং সিস্টেম, CPU আর্কিটেকচার, পুনঃবন্টন শর্ত এবং ক্যামেরা ইন্টারফেসের প্রয়োজনীয়তার জন্য সরবরাহকারীকে জিজ্ঞাসা করুন। একটি কম্পিউট মডিউলের জন্য ক্যারিয়ার সার্কিট বোর্ড কমিট করার আগে উদ্দিষ্ট প্ল্যাটফর্মে আবেদনটি যাচাই করুন।

• অধিগ্রহণ: ডিভাইস আবিষ্কার, কনফিগারেশন, ডিকোডিং এবং ত্রুটি রিপোর্টিং।
• সময়: টাইমস্ট্যাম্পের উৎপত্তি, রোলওভার হ্যান্ডলিং, বাহ্যিক ট্রিগার এবং মাল্টি-ডিভাইস সারিবদ্ধকরণ।
• প্রজননযোগ্যতা: রেকর্ডিং, কনফিগারেশন এক্সপোর্ট এবং একটি চিহ্নিত সফ্টওয়্যার সংস্করণ।
• স্থাপনা: হেডলেস অপারেশন, সমর্থিত বাইনারি, রিস্টার্ট আচরণ এবং লাইসেন্সের শর্তাবলী।
• পর্যবেক্ষণযোগ্যতা: ইভেন্ট গণনা, সারির গভীরতা, ড্রপ করা ডেটা এবং হোস্ট রিসোর্স ব্যবহার।

সুস্পষ্ট সময়ের সীমানা সহ একটি পাইপলাইন তৈরি করুন

ব্যয়বহুল ভিজ্যুয়ালাইজেশন, ডিস্ক রাইটিং এবং মডেল ইনফারেন্স থেকে অধিগ্রহণকে আলাদা রাখুন। অন্যথায় একটি ধীর গ্রাহক অ্যালগরিদম শুরু হওয়ার আগে নতুন ডেটা বিলম্বিত করতে পারে। একটি আবদ্ধ সারি এবং একটি স্পষ্ট ওভারলোড নীতি সংজ্ঞায়িত করুন। প্রাচীনতম উইন্ডোটি ড্রপ করা, আগ্রহের অঞ্চল হ্রাস করা এবং একটি ত্রুটি সহ বন্ধ করার বিভিন্ন ফলাফল রয়েছে; অ্যাপ্লিকেশনের সাথে মানানসই আচরণ চয়ন করুন এবং যখন এটি ঘটে তখন রেকর্ড করুন।

কখন পর্যবেক্ষণ ঘটেছে তা বর্ণনা করতে সেন্সর টাইমস্ট্যাম্প ব্যবহার করুন এবং প্রক্রিয়াকরণের সময়কাল পরিমাপ করতে একটি একঘেয়ে হোস্ট ঘড়ি ব্যবহার করুন। সম্পর্কহীন ঘড়ি থেকে টাইমস্ট্যাম্প বিয়োগ করা একটি বৈধ এন্ড-টু-এন্ড লেটেন্সি তৈরি করে না। যদি ক্যামেরাটিকে একটি IMU বা প্রচলিত ক্যামেরার সাথে একত্রিত করতে হয়, তাহলে ঘড়ির সম্পর্ক এবং ক্রমাঙ্কন প্রক্রিয়াটি আমাদের সেন্সর-ফিউশন সিঙ্ক্রোনাইজেশন গাইড.

একটি ছোট রেকর্ডিং-পরিদর্শন উদাহরণ

নিম্নলিখিত পাইথন উদাহরণটি একটি সমর্থিত রেকর্ডিং-এ ডিকোড করা ইভেন্টগুলি গণনা করে এবং তাদের টাইমস্ট্যাম্পের স্প্যান রিপোর্ট করে৷ এটি নথিভুক্ত Metavision স্ট্রিমিং API ব্যবহার করে এবং একটি সামঞ্জস্যপূর্ণ SDK ইনস্টলেশন এবং রেকর্ডিং প্রয়োজন৷ এটি একটি পরিদর্শন উদাহরণ, একটি ALVEXIS ক্যামেরা বেঞ্চমার্ক বা একটি ডিটেক্টর নয়৷

import argparse
from metavision_sdk_stream import Camera, CameraStreamSlicer

parser = argparse.ArgumentParser()
parser.add_argument("recording")
args = parser.parse_args()
source = Camera.from_file(args.recording)
count, first_us, last_us = 0, None, None

for batch in CameraStreamSlicer(source.move()):
    events = batch.events
    if events.size:
        start = int(events["t"][0])
        end = int(events["t"][-1])
        first_us = start if first_us is None else min(first_us, start)
        last_us = end if last_us is None else max(last_us, end)
        count += int(events.size)

span_s = 0.0 if first_us is None else (last_us - first_us) / 1_000_000
print({"events": count, "event_timestamp_span_s": span_s})

টাইমস্ট্যাম্প স্প্যান প্রথম থেকে শেষ পর্যবেক্ষিত ইভেন্টকে কভার করে; এটি ফাইলের সময়কাল, অধিগ্রহণ বিলম্ব বা প্রক্রিয়াকরণ থ্রুপুট পরিমাপ করে না। খালি পিরিয়ড এবং ক্লক রিসেট উৎপাদনে আলাদা হ্যান্ডলিং প্রয়োজন। ফাইলের সাথে ডিভাইস কনফিগারেশন এবং রেকর্ডিং মেটাডেটা রাখুন যাতে একজন দ্বিতীয় প্রকৌশলী ব্যাখ্যাটি পুনরুত্পাদন করতে পারে।

শান্ত দৃশ্য, ব্যস্ত দৃশ্য এবং ব্যর্থতা পুনরুদ্ধার যাচাই করুন

একটি স্থির দৃশ্য, প্রতিনিধি গতি এবং ইচ্ছাকৃতভাবে দাবি করা দৃশ্য পরীক্ষা করুন। ফ্লিকার, ক্যামেরা ভাইব্রেশন এবং টেক্সচার্ড মোশন খুব ভিন্ন ইভেন্ট রেট তৈরি করতে পারে। সাধারণ আচরণ এবং আপনি পর্যবেক্ষণ করা সবচেয়ে খারাপ ক্ষেত্রে উভয় রেকর্ড করুন। সঞ্চয়স্থান এবং যোগাযোগ সক্রিয় সহ পুনরাবৃত্তি করুন, কারণ সেই কাজের চাপগুলি মেমরি এবং CPU সময়ের জন্য প্রতিযোগিতা করে।

যখন অ্যালগরিদম একটি নিউরাল নেটওয়ার্ক ব্যবহার করে, তখন একটি অ্যাক্সিলারেটর বেছে নেওয়ার আগে ফলস্বরূপ টেনসর এবং সমর্থিত অপারেটরগুলি পরীক্ষা করুন। একটি ইভেন্ট ক্যামেরা স্বয়ংক্রিয়ভাবে একটি NPU প্রয়োজন হয় না, এবং একটি NPU স্বয়ংক্রিয়ভাবে একটি ইভেন্ট স্ট্রিম গ্রহণ করে না৷ আমাদের FPGA, NPU এবং MPU আর্কিটেকচার গাইড অধিগ্রহণ, প্রিপ্রসেসিং, অনুমান এবং অ্যাপ্লিকেশন পরিষেবাগুলিকে আলাদা করে।

একটি সফ্টওয়্যার স্ট্যাক নির্বাচন করার আগে প্রশ্ন

আমি কি একটি সাধারণ কম্পিউটার-ভিশন মডেল ব্যবহার করতে পারি?

শুধুমাত্র একটি সামঞ্জস্যপূর্ণ ইনপুট উপস্থাপনা সংজ্ঞায়িত করার পরে এবং এর আচরণ বৈধ করার পরে। চিত্রগুলিতে ইভেন্টগুলি জমা করা একটি চিত্র-প্রসেসিং পর্যায়ের পুনঃব্যবহারের অনুমতি দিতে পারে, তবে ডেটা বিতরণ পরিবর্তন করে এবং একটি টাইমিং উইন্ডো যুক্ত করে। প্রতিনিধি ডেটাতে সম্পূর্ণ আবেদন মূল্যায়ন করুন।

একটি কাজ ল্যাপটপ ডেমো এমবেডেড সামঞ্জস্য প্রমাণ করে?

না। CPU আর্কিটেকচার, অপারেটিং সিস্টেম, সেন্সর ইন্টারফেস, ড্রাইভার, SDK লাইসেন্স এবং প্রকৃত লক্ষ্য প্ল্যাটফর্মের টেকসই সম্পদ ব্যবহার নিশ্চিত করুন।

ইন্টিগ্রেশন আলোচনার জন্য আমার কী পাঠানো উচিত?

ক্যামেরা বা সেন্সর রেফারেন্স, নমুনা রেকর্ডিং, উদ্দিষ্ট আউটপুট, গ্রহণযোগ্য বিলম্ব, হোস্ট প্ল্যাটফর্ম, ইন্টারফেস এবং স্থাপনার পরিবেশ পাঠান। এই ইনপুটগুলি আলোচনাকে যথেষ্ট কংক্রিট করে তোলে যা প্রথম একীকরণের ঝুঁকি চিহ্নিত করতে পারে।

একটি কম্পিউটার ভিশন পাইপলাইনে নিউরোমরফিক দৃষ্টি

ইভেন্ট ক্যামেরাগুলি প্রায়শই নিউরোমর্ফিক দৃষ্টিতে আলোচনা করা হয় কারণ তাদের আউটপুট সম্পূর্ণ চিত্রগুলির একটি নির্দিষ্ট ক্রমের পরিবর্তে পৃথক পিক্সেলে পরিবর্তন হয়। সেই ডেটা উপস্থাপনা স্বয়ংক্রিয়ভাবে অবজেক্ট সনাক্তকরণ বা নিউরাল-নেটওয়ার্ক ফলাফল প্রদান করে না। সফ্টওয়্যারটির এখনও একটি সংজ্ঞায়িত কাজ, একটি সামঞ্জস্যপূর্ণ অ্যালগরিদম এবং পরিমাপযোগ্য গ্রহণযোগ্যতার মানদণ্ড প্রয়োজন৷

ফ্রেম-ওরিয়েন্টেড কম্পিউটার ভিশন টুলের সাথে একীভূত করার সময়, একটি ইভেন্ট স্ট্রীম একটি টাইম-উইন্ডো ইমেজ বা অন্য উপস্থাপনায় রূপান্তরিত হতে পারে। মূল টাইমস্ট্যাম্পগুলি ধরে রাখুন যদি কাজটি সূক্ষ্ম অস্থায়ী তথ্যের উপর নির্ভর করে। সম্পূর্ণ রূপান্তর এবং প্রক্রিয়াকরণ পাইপলাইন মূল্যায়ন; শুধুমাত্র একটি আকর্ষণীয় পুনর্গঠিত চিত্রই চূড়ান্ত প্রয়োগের নির্ভুলতা বা বিলম্বিতা প্রতিষ্ঠা করে না।

সেন্সর ডেটা ফিউশনের আগে সময় পরিকল্পনা করুন