Persepsi robot bergerak otonom dengan LiDAR dan visi

Robot bergerak otonom membutuhkan pengukuran yang tetap berguna ketika pencahayaan, gerakan, dan hambatan berubah. LiDAR memberikan informasi geometris; visi komputer dapat menambahkan konteks visual. Radar dan unit pengukuran inersial dapat melengkapi sinyal tersebut jika lingkungan operasi memerlukannya. Sinkronisasi waktu dan kalibrasi koordinat sama pentingnya dengan pemilihan sensor.

Komputasi robot humanoid dan batas kendali

Robot humanoid, lengan robot, dan AMR memiliki kebutuhan mekanis berbeda, tetapi semuanya memerlukan batas yang jelas antara persepsi dan kendali gerak. Integrasi Robot Operating System dapat mengatur pesan dan komponen perangkat lunak; integrasi itu sendiri tidak membentuk fungsi keselamatan. Alvexis dapat menentukan perangkat keras persepsi tertanam beserta antarmukanya sesuai arsitektur kendali pembuat robot.

Apa itu AI robotika?

Robotics AI menerapkan kecerdasan mesin pada pengamatan robot, pilihan tugas atau tindakan. Hal ini mungkin memperkirakan pose bagian untuk gripper, menafsirkan adegan untuk robot bergerak atau mengidentifikasi item yang membutuhkan inspeksi. Robot menggabungkan keluaran itu dengan lokalisasi, perencanaan, kontrol dan perangkat keras fisik.

Ini merupakan bagian dari cakupan lebih luas dalam rekayasa AI fisik. AI edge dapat berjalan pada robot agar pengamatan diproses dekat sensor. Perangkat lunak armada dan alat luring tetap dapat mendukung penjadwalan, peninjauan data, dan pengembangan model. Pembagian tugas mengikuti persyaratan waktu, konektivitas, dan pemeliharaan.

Tidak semua fungsi robot memerlukan model yang dipelajari. sebuah trajektori yang dapat diulang, mesin keadaan eksplisit atau metode geometris mungkin lebih mudah untuk diverifikasi untuk tugas yang didefinisikan dengan baik. Letakkan AI di mana variasi menciptakan masalah nyata, lalu evaluasikan apakah hal ini meningkatkan keseluruhan aliran kerja.

Pilih tugas sebelum arsitektur robot

AplikasiPotensi kontribusi AIYang diukur dalam proyek percontohan
Transportasi gudangPersepsi dan interpretasi perubahan rute dan bebanPelaksanaan misi, intervensi dan waktu pemulihan
Penanganan komponenIdentifikasi objek dan estimasi poseTransfer sukses oleh varian bagian, percobaan ulang dan kerusakan
Robotik inspeksiMencari dan merekam kondisi yang memerlukan tinjauanLiputan, pengamatan yang terlewatkan dan pengulangan
Sistem robot darat untuk pertanianMenafsirkan tanaman atau medan dalam tugas yang didefinisikanAkurasi tugas di seluruh cuaca, tahap pertumbuhan dan pencahayaan
Logistik laboratorium atau rumah sakitObjek atau persepsi rute dalam aliran kerja yang dibatasiKetertelusuran, keberhasilan penanganan, dan penyerahan kontrol kepada operator

Ini adalah kandidat skop pengembangan, bukan daftar robot Alvexis yang ditempatkan. Deskripsikan domain operasi dengan tepat: lantai atau medan, pencahayaan, orang, muatan, rute yang diizinkan dan tindakan yang dilarang. Mengubah kondisi-kondisi tersebut dapat mengubah permasalahan lebih dari pada memilih model AI yang lebih besar.

Bangun jalur yang jelas dari sensor ke gerakan

MengindraKamera, kedalaman, inersia dan pengukuran encoder dengan stempel waktu dan kalibrasi.
RencanaPerkiraan keadaan, logika tugas dan tujuan terbatas berdasarkan pengamatan saat ini.
KontrolKontroler, drive dan umpan balik dengan fungsi perlindungan yang terdefinisi secara terpisah.

Akuisisi dan sinkronisasi: Catat waktu setiap pengamatan diperoleh, kerangka koordinatnya, dan versi kalibrasinya. Posisi objek yang terdeteksi baru berguna bagi pencengkeram jika transformasi ke kerangka koordinat robot valid. Baca panduan sinkronisasi waktu sebelum menggabungkan kamera, IMU dan pengukuran gerakan.

Persepsi dan keadaan: Tentukan kebutuhan tahap berikutnya: kelas, posisi dan orientasi, estimasi ruang kosong, atau kejadian yang disertai tingkat keyakinan. Berikan konteks yang cukup untuk menolak keluaran lama atau tidak valid. Tentukan perilaku sistem saat sensor terhalang, lokalisasi hilang, atau keyakinan turun di bawah ambang aplikasi.

Tugas dan antarmuka gerakan: Pertahankan batas yang terlihat antara tujuan yang diusulkan dan komponen yang diizinkan untuk melaksanakannya. Seorang perencana dapat meminta sebuah gerakan; sistem kontrol masih perlu untuk menerapkan kondisi operasi yang diizinkan. Menetapkan pembatalan, waktu habis, overrides dan kembali ke keadaan yang diketahui.

Fungsi perlindungan memerlukan desain keselamatan khusus aplikasi. Model AI biasa atau paket navigasi tidak boleh disajikan sebagai fungsi keselamatan tersertifikasi. Sebagai contoh, Nav2 menggambarkan Collision Monitornya sebagai lapisan perangkat lunak tambahan. Kehadirannya tidak menetapkan bahwa instalasi robot aman.

Ukur usia data yang mendasari keputusan, bukan hanya waktu inferensi

Sebuah model cepat masih dapat bertindak pada data lama. Eksposisi atau akuisisi, transfer, daftar tunggu, pra-pemrosesan, inferensi, perencanaan dan pengiriman perintah semua berkontribusi pada usia pengamatan ketika mencapai mesin. Tentukan titik awal dan akhir dari setiap pengukuran latensi.

Rekaman distribusi latensi dan puncak di bawah penangkapan kamera simultan, logging dan komunikasi. Periksa apa yang terjadi ketika konsumen tertinggal. Baris tunggu yang mempertahankan setiap pengamatan lama mungkin tidak sesuai untuk keputusan keadaan saat ini, sementara mengabaikan pengamatan mungkin tidak dapat diterima untuk log bukti. Berikan setiap jalur data kebijakan eksplisit.

Pilih peranti keras tepi di sekitar beban kerja lengkap

Daftar antarmuka kamera, laju sensor, operator model, layanan CPU, penyalinan memori, penulisan penyimpanan, dan antarmuka kontrol sebelum memilih prosesor. Dukungan akselerasi yang diperlukan lebih penting daripada angka operasi yang diiklankan. Uji model dan perangkat lunak yang dituju pada platform representatif.

Sistem bergerak juga menghadirkan batasan daya dan termal. Pertimbangkan arus awal, perilaku baterai, pendinginan berkelanjutan, kekuatan penguncian konektor, serta ruang akses servis. Papan laboratorium yang berjalan singkat di meja belum membuktikan kemampuan memenuhi siklus kerja yang berguna di dalam casing robot tertutup.

ForgeEdge-Core adalah titik awal untuk membicarakan integrasi komputasi custom; ForgeEdge-Duo menyediakan arsitektur untuk membahas pemrosesan aplikasi bersama kontrol waktu nyata. Kesesuaian produk, dukungan perangkat lunak, dan fungsi perlindungan harus diperiksa terhadap persyaratan robot. Panduan FPGA, NPU, dan MPU membantu memisahkan peran pemrosesan.

Gunakan simulasi untuk menjawab pertanyaan spesifik

Membuat simulasi di sekitar keputusan: keterjangkauan, penempatan sensor, logika rute atau tugas pengendalian yang dapat diulang. Bervariasi faktor-faktor yang dapat merusak desain, seperti pose objek, asumsi friksi, kebisingan sensor atau hambatan tak terduga. Simpan versi simulasi dan definisi skenario dengan hasil tes.

NVIDIA menyediakan contoh pembelajaran dari simulasi ke dunia nyata yang menunjukkan perpindahan dari tugas simulasi ke robot nyata. Dalam program produk, perpindahan ini tetap harus diuji. Bandingkan robot fisik dengan asumsi model, termasuk waktu, kelenturan mekanis, dan sensor yang dipasang.

Jangan mengganti pengujian saat pengoperasian dengan keberhasilan simulasi. Langkah berikutnya adalah uji fisik terbatas dengan pengukuran keluaran dan ketentuan penyerahan kontrol kepada operator. Perluas wilayah operasi hanya setelah meninjau bukti.

Uji kegagalan selain demonstrasi yang berhasil

SkenarioPerhatikanPertanyaan penerimaan
Sensor hilang atau tertutupBendera validitas, status tugas dan pemberitahuan operatorApakah robot memasuki keadaan dibatasi atau dihentikan yang didefinisikan?
Data tertunda atau tidak konsistenUsia keluaran, transformasi koordinat, dan pesan yang ditolakBisakah informasi tua memulai tindakan yang tidak diinginkan?
Objek tak terduga atau gagal menangkapPercobaan ulang, hasil kontak dan handoffApakah pemulihan tetap dalam tugas yang diizinkan?
Kehilangan jaringan atau restartBatas otonomi lokal dan keadaan sistem setelah pemulihanDapatkah perintah sebelumnya diulang secara tidak sengaja?
Operasi jangka panjangSuhu, daya, throughput dan driftApakah tugas tetap dapat diulang selama siklus tugas yang dibutuhkan?

Simpan rekaman perangkat keras, firmware, model, kalibrasi dan konfigurasi versi untuk setiap run. Tingkat kesuksesan agregat sulit untuk ditafsirkan tanpa campuran tugas dan kategori kegagalan. Laporan kinerja oleh skenario, dan menjaga kasus sulit dalam evaluasi set ketika memperbaiki sistem.

Apa yang harus dibawa ke diskusi teknik

Bagikan video pendek atau diagram tugas, antarmuka robot atau mesin, sensor yang tersedia dan keterbatasan ruang, daya dan pendingin. Tentukan siapa yang memiliki kontroler robot, yang menyediakan data aplikasi dan yang menerima sistem yang selesai. Batas-batas ini membuat proposal prototipe dan ketergantungannya lebih jelas.

Alvexis dapat membahas papan carrier khusus, antarmuka pengindraan, pemrosesan tertanam, casing, dan integrasi untuk platform yang dipilih. Untuk robotika medis, mulailah dari panduan teknik kesehatan jadi tujuan klinis dan tanggung jawab validasi dibentuk lebih awal.

Referensi teknis

Perhitungan waktu hanya ilustratif. Tidak ada kinerja robot atau sertifikasi keamanan yang diklaim oleh artikel ini.

Bangun elektronik di sekitar tugas robot Anda.

Jelaskan sensor, antarmuka, lingkungan operasi, dan hasil yang Anda perlukan. Kita dapat membahas cakupan perangkat keras dan rekayasa sistem tertanam untuk proyek percontohan yang terukur.

Diskusikan Proyek Robotik AndaMenjelajahi AI Fisik di Seluruh Industri →