Cloud AI a edge AI: kde vzniká rozhodnutie
Cloud AI vykonáva spracovanie vo vzdialenej infraštruktúre. Edge AI vykonáva inferenciu pri snímači alebo stroji. Hybridný návrh môže ponechať časovo citlivé rozhodnutie lokálne a vybrané údaje posielať na analýzu skupiny zariadení a vývoj modelov. Podstatné je určiť, ktorá funkcia musí zostať dostupná pri pomalej alebo nedostupnej sieti.
Predstavte si stanicu vizuálnej kontroly. Kamera nasníma diel, softvér pripraví obraz, model ho vyhodnotí a rozhranie oznámi výsledok. Odosielanie každého obrazu pridáva do tejto cesty závislosť od siete. Lokálna inferencia túto závislosť mení, ale zariadenie stále potrebuje dostatočný výpočtový výkon a správu verzií softvéru.
Porovnávajte celú výpočtovú záťaž
Zber údajov, predspracovanie, inferenciu a spracovanie výstupu merajte spoločne. Benchmark AI, ktorý meria iba model, môže prehliadnuť úzke miesto. Zaznamenajte dlhodobú latenciu, spotrebu pamäte, príkon a správanie po zahriatí. Rovnakú skúšku vykonajte s realistickými rozmermi obrazu, súčasne aktívnymi rozhraniami a plánovaným krytom.
Hlboké učenie, generatívna AI a zdroje zariadenia
Modely hlbokého učenia sa líšia pamäťovými nárokmi a podporovanými operáciami. Generatívna AI môže pridať ďalšie požiadavky na pamäť a čas odozvy. Pred špecifikovaním počítača pre AI vyberte model a prostredie na jeho spúšťanie, ktoré zodpovedajú skutočnej úlohe. Procesor propagovaný pre AI nenahrádza skúšku nasadeného modelu.
Definujte správanie bez siete a vlastníctvo údajov
Rozhodnite, ktoré záznamy zostávajú v zariadení, ktoré ho opúšťajú a ako dlho sa uchovávajú. Lokálne spracovanie môže obmedziť prenos surových údajov, ale bezpečné aktualizácie, riadenie prístupu a diagnostika zostávajú potrebné. Definujte, čo operátor uvidí pri nedostupnej inferencii a ako sa systém vráti k normálnej prevádzke.
Pripravte merateľné zadanie architektúry
Poskytnite reprezentatívny vstup, požadovaný čas rozhodnutia, zoznam rozhraní, limit príkonu a podmienky inštalácie. Alvexis môže podľa týchto obmedzení vymedziť zákazkovú elektroniku, vstavaný softvér a integráciu krytu. Prvým míľnikom má byť praktické meranie navrhnutej spracovateľskej cesty s jasnými kritériami na pokračovanie alebo zmenu architektúry.