Benutzeroberfläche

Standardmäßig enthält die Benutzeroberfläche den Tab Bild, Statusinformationen und die Schaltfläche Manual Mode (Abb. 4).

Das lila Rechteck kennzeichnet die Region of Interest (ROI). Es definiert den Bereich des aufgenommenen Bilds, in dem das Netz nach Objekten sucht.

Wenn der Debug-Modus aktiviert ist, wird zusätzlich ein gelbes Polygon der automatischen Belichtung angezeigt (Abb. 5). Dies ist hilfreich beim Konfigurieren der anfänglichen Belichtungsparameter.

Benutzeroberfläche von LumiScan VGR mit dem Tab Bild, Statusinformationen und den Steuerelementen für den manuellen Modus

Eine detaillierte Beschreibung der Benutzeroberfläche finden Sie in Abb. 6 und Tabelle 4.

Benutzeroberfläche von LumiScan VGR mit einem aufgenommenen Bild, erkannten Objekten, Statusinformationen sowie manuellen und administrativen Steuerelementen
Table 1. Tabelle 4: Elemente der LumiScan-VGR-Benutzeroberfläche
Element Beschreibung

T0

Bild-Tab

Zeigt das Bild der aktiven Kamera zusammen mit den aktuellen Ergebnissen der Objekterkennung an.

  • Im manuellen Modus können in dieser Ansicht Bounding Boxes von Objekten gezeichnet und geändert werden.

T1

Szenen-Tab (Abb. 9)

Zeigt 3D-Informationen zur Szene sowie die berechneten Greifpunkte für erkannte Objekte an.

Die Ansicht kann mit der Maus gesteuert werden:

  • Scrollen Sie mit der mittleren Maustaste, um hinein- oder herauszuzoomen.

  • Halten Sie die mittlere Maustaste gedrückt, und bewegen Sie die Maus, um die Ansicht zu drehen.

  • Halten Sie Shift und die mittlere Maustaste gedrückt, während Sie die Maus bewegen, um den angezeigten Ausschnitt zu verschieben.

Beim Öffnen dieses Tabs werden zusätzliche Szenen-Steuerelemente (Sc1 bis Sc6) angezeigt.

T2

PROFINET-Tab (Abb. 10)

Zeigt die aktuellen Daten an, die mit der SPS ausgetauscht werden.

S1

Zeigt allgemeine Statusinformationen an.

S2

Zeigt den aktuellen Anwendungsstatus an. Weitere Informationen finden Sie in Tabelle 6: Rückgabewerte.

S3

Öffnet das Log-Fenster, das zusätzliche Informationen zu Prozessen und Ereignissen in der Anwendung bereitstellt.

S4

Sammelt Diagnoseinformationen zur Anwendung.

  • Die gesammelten Daten können verschlüsselt und zu Diagnosezwecken an HD Vision Systems gesendet werden.

  • Die Optionen Camera png und Camera ply unter Export in den Admin-Einstellungen (A1) müssen aktiviert sein, um die entsprechenden Kameradaten einzuschließen.

M1

Aktiviert den manuellen Modus. Siehe Manueller Modus.

M2

Enthält die im manuellen Modus verfügbaren Steuerelemente. Siehe Manueller Modus.

M3

Schritt 1 des manuellen Workflows: Benutzer auswählen.

  • Vor dem Fortfahren muss ein Benutzer ausgewählt werden.

  • Neue Benutzer können über die Schaltfläche …​ hinzugefügt werden.

  • Der ausgewählte Benutzer wird beim Export neuer Trainingsdaten als Metadaten gespeichert.

  • Nur im manuellen Modus sichtbar.

M4

Schritt 2 des manuellen Workflows: Bild aufnehmen und analysieren.

  • Nimmt ein neues Bild auf und erkennt Objekte.

  • Anschließend können erkannte Objekte korrigiert und fehlende Objekte mit den Labels aus M5 beschriftet werden.

  • Die Funktion kann mehrfach ausgeführt werden.

  • Nur im manuellen Modus sichtbar.

M5

Schritt 3 des manuellen Workflows: Label auswählen.

  • Enthält alle verfügbaren Objekt-Labels.

  • Das ausgewählte Label wird beim Erstellen neuer Bounding Boxes im Bild-Tab (T0) verwendet.

  • Nur im manuellen Modus sichtbar.

M6

Schritt 4 des manuellen Workflows: Vorgang abschließen.

Ist das Bild korrekt beschriftet, klicken Sie auf DONE. Eine Bestätigungsmeldung zeigt an, dass die Trainingsdaten exportiert und die Greifpunkte berechnet wurden.

Können keine Greifpunkte berechnet werden, weil die 3D-Informationen ungültig sind – beispielsweise aufgrund einer schlechten Punktwolke oder einer falschen Konfiguration –, wechselt der Status zu RESULTS_EMPTY. Es wird keine Bestätigung angezeigt, und es werden keine Trainingsdaten exportiert.

  • Die Trainingsdaten werden in den Ausgabeordner für Trainingsdaten exportiert. Siehe Generierte Daten und Dateien.

  • Nur im manuellen Modus sichtbar.

A1

Admin-Einstellungen

Enthält Optionen zum Aktivieren und Deaktivieren des Datenexports.

  • Die Einstellungen können bei laufender Anwendung geändert werden.

  • Die verfügbaren Ausgabeoptionen können sich unterscheiden, wenn der Debug-Modus aktiviert ist. Siehe Admin- und Debug-Modi.

  • Nur im Admin-Modus sichtbar.

A2

Admin-Steuerelemente

Enthält Steuerelemente zum manuellen Ausführen einzelner Anwendungsfunktionen.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv, um sicherzustellen, dass der automatische Prozess angehalten ist.

A3

Wechselt die aktive Kamera.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A4

Wechselt die aktive Pipeline.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A5

Wechselt den aktiven Roboter.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A6

Initialisiert die Anwendung.

Die Initialisierung ist erforderlich, bevor die Funktionen A7 bis A13 verwendet werden können.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A7

Nimmt ein Bild mit der aktiven Kamera auf.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A8

Analysiert das zuletzt aufgenommene Bild mit der aktiven Pipeline.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A9

Exportiert das aktuell beschriftete Bild als Trainingsdaten.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A10

Berechnet die Pose aller erkannten Objekte im aktuell beschrifteten Bild.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A11

Hebt das Objekt mit der höchsten Greifpriorität hervor.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A12

Simuliert das Greifen des Objekts mit der höchsten Greifpriorität durch den Roboter.

Die entsprechende Bounding Box wird aus dem Bild-Tab (T0) entfernt, und die Position wird als letzte Greifposition gespeichert.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A13

Leert alle internen Puffer.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

A14

Führt benutzerdefinierte Befehle aus.

  • Nur im Admin-Modus sichtbar.

  • Nur im manuellen Modus aktiv.

Sc1

Szenen-Einstellungen

Enthält die Steuerelemente zum Konfigurieren des Szenen-Tabs.

  • Nur im Admin-Modus sichtbar.

Sc2

Bezugsframe

Wählt das Koordinatensystem (Frame) aus, relativ zu dem die Szene angezeigt wird.

Zur Auswahl stehen unter anderem:

  • Camera

  • Robot

  • Nur im Admin-Modus sichtbar.

Sc3

Allgemein

  • Show Cloud: Zeigt die generierte Punktwolke an.

  • Nur im Admin-Modus sichtbar.

Sc4

Objekt

Enthält Visualisierungsoptionen für erkannte Objekte.

  • Mesh: Zeigt das aus der Punktwolke erzeugte CAD-Modell an.

  • Highlight: Hebt die für das Objekt-Matching verwendeten Punktwolkenpunkte rot hervor.
    Hierfür muss Show Cloud (Sc3) deaktiviert sein.

  • Bounding Box: Zeigt die Bounding Box jedes Objekts gelb an.

  • Show Origin: Zeigt das Koordinatensystem jedes erkannten Objekts an.

  • Show Grip Candidates: Zeigt die verfügbaren Greifkandidaten an.
    Hierfür muss Show Origin deaktiviert sein.

  • Nur im Admin-Modus sichtbar.

Sc5

Roboter

Enthält Visualisierungsoptionen für den Roboter und seine Umgebung.

  • Static Geometries: Zeigt statische Elemente in der Roboterumgebung an. Diese Option ist verfügbar, wenn Collision Meshes oder Visualization Meshes aktiviert sind.

  • Collision Meshes: Zeigt die vereinfachte Robotergeometrie, die für die Kollisionserkennung verwendet wird. Verfügbar erst nach Ausführung von Show Best Grip (A11).

  • Visualization Meshes: Zeigt das Visualisierungsmodell des Roboters an. Verfügbar erst nach Ausführung von Show Best Grip (A11).

  • Coordinate Frames: Zeigt die Koordinatenframes des Roboters an.

  • Collision Octree: Zeigt Informationen an, die zur Bewertung möglicher Kollisionen bei der Roboterbewegung herangezogen werden.

  • Animate: Simuliert die Roboterbewegung automatisch. Diese Option ist verfügbar, nachdem Show Best Grip (A11) oder Simulate Grip (A12) ausgeführt wurde.

  • Nur im Admin-Modus sichtbar.

Sc6

Bewegt den Roboterarm durch die simulierte Bewegung.
Diese Option ist verfügbar, nachdem Show Best Grip (A11) oder Simulate Grip (A12) ausgeführt wurde und wenn Animate deaktiviert ist.
Der manuelle Modus erfordert, dass die Anwendung initialisiert ist, z. B. durch Ausführen von Setup im Admin-Modus oder von der SPS aus. Ist die Anwendung nicht initialisiert, wird die Kamera möglicherweise nicht erkannt, und es können keine Bilder aufgenommen werden.