Cloud AI és Edge AI: hol születik a döntés?
A Cloud AI távoli infrastruktúrán dolgozza fel az adatokat. Az Edge AI az érzékelő vagy gép közelében végzi a következtetést. A hibrid kialakítás helyben tarthatja az időkritikus döntést, miközben kiválasztott adatokat küld a teljes eszközállomány elemzéséhez és modellfejlesztéshez. A fő kérdés az, mely funkciónak kell elérhetőnek maradnia lassú vagy hiányzó hálózat mellett.
Vegyünk egy vizuális ellenőrzőállomást. A kamera rögzíti az alkatrész képét, a szoftver előkészíti, a modell értékeli, majd egy interfész közli az eredményt. Minden kép feltöltése hálózati függést visz ebbe az útvonalba. A helyi következtetés megváltoztatja ezt a függést, de a készüléknek továbbra is elegendő számítási kapacitás és szoftververzió-kezelés kell.
A teljes feldolgozási terhelést hasonlítsa össze
Együtt mérje az adatgyűjtést, előfeldolgozást, következtetést és kimenetkezelést. A csak modellfutási időt mérő MI-teljesítményteszt nem feltétlenül mutatja meg a szűk keresztmetszetet. Rögzítse a tartós késleltetést, memóriahasználatot, teljesítményfelvételt és a bemelegedés utáni működést. Ismételje meg a tesztet valós képméretekkel, egyidejű interfészekkel és a tervezett burkolattal.
Mélytanulás, generatív MI és a készülék erőforrásai
A mélytanulási modellek memóriaigénye és támogatott műveletei eltérnek. A generatív MI további memória- és válaszidőigényt jelenthet. Az MI-számítógép specifikálása előtt válasszon a tényleges feladatnak megfelelő modellt és futtatókörnyezetet. Az MI-re hirdetett processzor nem helyettesíti a telepítendő modell tesztelését.
Határozza meg a kapcsolat nélküli működést és az adatok tulajdonjogát
Döntse el, mely adatok maradnak az eszközön, melyek hagyják el, és meddig őrzik meg őket. A helyi feldolgozás csökkentheti a továbbított nyers adatokat, de biztonságos frissítésre, hozzáférés-szabályozásra és diagnosztikára továbbra is szükség van. Határozza meg, mit lát a kezelő, amikor a következtetés nem elérhető, és hogyan tér vissza a rendszer a normál működéshez.
Készítsen mérhető architektúra-specifikációt
Adjon reprezentatív bemeneti mintát, szükséges döntési időt, interfészlistát, teljesítménykorlátot és telepítési feltételeket. Az Alvexis ezek alapján határozhatja meg az egyedi elektronika, beágyazott szoftver és burkolatintegráció terjedelmét. Az első mérföldkő a javasolt feldolgozási út működő mérése legyen, világos feltételekkel a folytatáshoz vagy az architektúra módosításához.