Beschreibung

LumiScan AI Object Matching erkennt mit neuronalen Netzen trainierte Objekte in Bildern und meldet deren Position und Orientierung in Pixelkoordinaten.

Die Anwendung läuft auf ctrlX OS (ctrlX CORE oder ctrlX IPC) oder auf einem PC (Windows 11 oder Ubuntu 24.04) und wird über den Data Layer gesteuert: den ctrlX Data Layer auf ctrlX OS, LumiScan Keryx auf einem PC. Konfiguriert wird sie über Konfigurationsdateien der Anwendung und der Modelle. Auf ctrlX OS wird sie aus dem App Store installiert.

Was für jede LumiScan-App gleich ist - wie Adressen aufgebaut sind, die Aufrufmuster Handshake, Execute und Stream, Statuscodes, Einstellungen und Werkzeuge -, ist im Handbuch LumiScan Keryx beschrieben. Dieses Handbuch behandelt nur, was für LumiScan AI Object Matching spezifisch ist; seine Seiten beschreiben die eigenen Knoten der App.

Anders als regelbasierte Bildverarbeitung stützt sich AI Object Matching auf ein trainiertes neuronales Netz. Das Modell und seine zugehörige Beschreibungsdatei werden mit dem LumiScan Training Framework erstellt und gemeinsam in die Anwendung hochgeladen.

Woher die Bilder kommen

Die Anwendung nimmt Bilder nicht direkt von einer Kamera auf. Sie liest Bilddaten, die eine andere Anwendung über den Data Layer veröffentlicht.

Zum Beispiel kann der LumiScan Cam Driver die Bilder liefern:

hdvisionsystems/lumiscan-cam-driver/camera1/output/image

Die konfigurierte Bildquelle muss die Bilddaten und die erforderlichen Bildinformationen im erwarteten Format bereitstellen.

Modelle

Ein trainiertes Modell legt fest, welche Objekte die Anwendung erkennen kann. Modelle werden mit dem LumiScan Annotation Framework und dem LumiScan Training Framework erstellt.

Jedes Modell besteht aus der Datei des neuronalen Netzes und der zugehörigen Beschreibungsdatei. Diese Dateien gehören zusammen und sollten immer als eine Einheit hochgeladen und behandelt werden.

Die Modellkonfiguration legt Parameter wie den Pfad des neuronalen Netzes, die Schwellwerte der Erkennung und den Inferenz-Provider fest. Siehe Datei Model.json.

Module

Ein Modul ist eine konfigurierte Instanz von AI Object Matching. Es legt die Bildquelle, die zu verwendende Modellkonfiguration und den Ort fest, an dem die zugehörigen Ergebnisse und Steuerknoten im Data Layer verfügbar sind.

Jedes Modul vereint also:

  • eine Bildquelle als Eingabe

  • ein trainiertes Modell eines neuronalen Netzes

  • Einstellungen der Erkennung

  • Steuerknoten und Ergebnisse im Data Layer

Derzeit kann nur ein Modul zur Zeit aktiv sein.