Anleitung: Bilder mit gedrehten Begrenzungsrahmen annotieren

Diese Anleitung führt von der Installation von LumiScan Annotation bis zu einem Satz Bilder, die mit gedrehten Begrenzungsrahmen (Oriented Bounding Boxes) annotiert sind. Die Annotationen sind die Trainingsdaten für neuronale Netze, zum Beispiel für LumiScan AI Object Matching, trainiert mit LumiScan Training.

Am Ende gilt:

  • LumiScan Annotation ist installiert und lizenziert.

  • Ihre Bilder sind geladen.

  • Die Objektklassen sind als Labels angelegt.

  • Die Objekte in den Bildern sind mit gedrehten Begrenzungsrahmen markiert, und die Annotationen sind neben den Bildern gespeichert.

Diese Anleitung beschreibt die Bedienung der Software. Wie man gut annotiert - was ein Rahmen umfassen soll, wie mit teilweise verdeckten Objekten umzugehen ist - hängt von der Anwendung ab und wird mit dem Team abgestimmt, das das Netz trainiert.

Bevor Sie beginnen

  • Windows-11-PC mit Maus und Tastatur

  • LumiScan Key mit einer Lizenz für LumiScan Annotation, siehe Voraussetzungen

  • Das Installationsprogramm Installer_LumiScan_Annotation_va_b_c_d.exe, wobei a.b.c.d die Version ist

  • Die zu annotierenden Bilder als PNG-Dateien

Wie es zusammenhängt

LumiScan Annotation zeigt jeweils ein Bild. Sie zeichnen um jedes Objekt einen Rahmen und geben ihm ein Label, den Namen seiner Klasse. Rahmen lassen sich drehen und passen so zu Objekten, die in beliebigem Winkel liegen.

Beim Speichern werden die Annotationen des Bildes als CSV-Datei neben das Bild geschrieben. Eine JSON-Datei hält fest, wer wann gespeichert hat und welches Bild und welche Datei betroffen sind. Mehrere Benutzer können in denselben Ordnern annotieren: Jedes Speichern wird mit dem in der Anwendung gewählten Benutzer festgehalten.

Schritt 1 - CodeMeter Runtime installieren

LumiScan Annotation wird mit dem LumiScan Key lizenziert und benötigt die CodeMeter Runtime 9.00 oder neuer.

  1. Prüfen Sie, ob die CodeMeter Runtime installiert ist, zum Beispiel im Windows-Startmenü.

  2. Falls nicht, installieren Sie sie und stecken Sie den LumiScan Key in einen freien USB-Anschluss, wie unter CodeMeter Runtime installieren beschrieben.

Schritt 2 - LumiScan Annotation installieren

  1. Schließen Sie alle offenen Anwendungen.

  2. Doppelklicken Sie auf Installer_LumiScan_Annotation_va_b_c_d.exe.

  3. Akzeptieren Sie die Lizenzbedingungen.

  4. Behalten Sie den vorgeschlagenen Installationsordner bei oder wählen Sie mit Browse einen anderen, dann klicken Sie auf Next.

  5. Klicken Sie auf Install, dann auf OK und Finish.

LumiScan Annotation lässt sich nun über das Windows-Startmenü starten. Die einzelnen Schritte stehen in Installation unter Windows.

Schritt 3 - Die Bilder vorbereiten

Legen Sie die zu annotierenden PNG-Bilder in einen Ordner. Um an mehreren Bildsätzen zu arbeiten, geben Sie jedem Satz einen eigenen Ordner unterhalb eines gemeinsamen Ordners:

<Datenordner>
├── <Satz A>
│   ├── image_001.png
│   └── image_002.png
└── <Satz B>
    ├── image_003.png
    └── image_004.png

Sie wählen dann einmal den gemeinsamen Ordner und wechseln in der Anwendung zwischen den Sätzen. Siehe Ordnerstruktur.

Schritt 4 - Die Anwendung starten und die Bilder auswählen

  1. Starten Sie LumiScan Annotation. Beim ersten Start ist das Fenster leer.

  2. Klicken Sie auf Menu > Settings.

  3. Klicken Sie auf Set Folder und wählen Sie den Ordner mit den Bildern oder den gemeinsamen Ordner mehrerer Sätze.

    Einstellungsfenster von LumiScan Annotation mit den Feldern Data Directory
    Abbildung 1. Einstellungsfenster mit dem Datenverzeichnis

  4. Optional: Klicken Sie auf User Management, legen Sie Ihren Benutzernamen an und wählen Sie ihn im Feld User des Hauptfensters. Jedes Speichern wird mit diesem Namen festgehalten.

  5. Schließen Sie das Einstellungsfenster.

Erwartet: Die Bilder stehen unter List of Pictures. Bei mehreren Sätzen wählt das Feld Folder oben den Satz.

Hauptfenster von LumiScan Annotation mit zwei annotierten Packungen in der Mitte
Abbildung 2. Hauptfenster mit einem annotierten Bild

Das Hauptfenster zeigt von links nach rechts das Bild mit seinen Rahmen, die Bildliste, die Label-Liste, das Feld zum Hinzufügen von Labels und Regler für Helligkeit und Kontrast. Die Schaltflächen unter dem Bild wechseln zum vorherigen Bild, speichern und wechseln zum nächsten Bild. Alle Elemente sind in Benutzeroberfläche beschrieben.

Schritt 5 - Die Labels anlegen

Ein Label ist der Name einer Objektklasse, zum Beispiel back oder foliert. Legen Sie für jede Klasse, die das Netz unterscheiden soll, ein Label an.

  1. Geben Sie den Namen in das Feld unter Add Label ein.

  2. Klicken Sie auf Add Label.

Das Label erscheint mit einer Nummer in der Label-Liste. Das ausgewählte Label erhält jeder neue Rahmen.

Label-Liste mit den Einträgen 1: back und 2: foliert
Abbildung 3. Label-Liste und das Feld Add Label

Schritt 6 - Einen gedrehten Begrenzungsrahmen zeichnen

  1. Wählen Sie in der Label-Liste das Label des Objekts.

  2. Doppelklicken Sie auf das Bild an der Stelle, an der die Unterkante des Rahmens liegen soll. Diese Kante wird immer grün gezeichnet.

  3. Klicken Sie auf die Oberkante des Objekts, ohne die Maustaste gedrückt zu halten. Damit legen Sie die Höhe fest.

  4. Klicken Sie auf eine Seite des Objekts, wieder ohne die Taste zu halten. Damit legen Sie die Breite fest.

Der Rahmen wird mit dem ausgewählten Label gezeichnet. Seine grüne Kante markiert die Unterseite des Objekts; der Rahmen hält also auch fest, in welche Richtung das Objekt zeigt.

Gedrehter Begrenzungsrahmen um eine Packung mit grüner Unterkante
Abbildung 4. Gedrehter Begrenzungsrahmen um eine Packung; die grüne Kante markiert ihre Unterseite

Schritt 7 - Rahmen korrigieren und löschen

Klicken Sie auf einen Rahmen, um ihn auszuwählen. Ein ausgewählter Rahmen zeigt vier gelbe Eckpunkte. Dann:

  • innerhalb des Rahmens ziehen, um ihn zu verschieben,

  • an einer Kante ziehen, um seine Größe in diese Richtung zu ändern,

  • an einer Ecke ziehen, um ihn um seinen Mittelpunkt zu drehen,

  • ein anderes Label wählen oder dessen Nummer 1 bis 9 drücken, um das Label zu ändern,

  • mit der rechten Maustaste auf den Rahmen klicken, um ihn zu löschen.

Für Feinkorrekturen verwenden Sie die Tastatur: Strg/Umschalt mit i, j, k, l verschiebt den Rahmen um ein oder zehn Pixel, mit u und o dreht er sich um ein oder zehn Grad. Alle Tastenkombinationen stehen in Bildannotation und Tastenkombinationen.

Schritt 8 - Speichern und zum nächsten Bild wechseln

  1. Klicken Sie unter dem Bild auf save oder drücken Sie s.

  2. Klicken Sie auf next oder drücken Sie d, um zum nächsten Bild zu wechseln. previous oder a geht zurück.

Schaltflächen previous (a)
Abbildung 5. Navigationsschaltflächen unter dem Bild

Erwartet: Neben dem Bild liegen eine CSV-Datei mit seinen Rahmen und eine JSON-Datei mit Benutzername, Zeitpunkt, Bildname und dem Namen der CSV-Datei. Das Bild ist in der Bildliste hervorgehoben.

Unterscheiden sich aufeinanderfolgende Bilder nur wenig, drücken Sie Alt + s, um zu speichern und die Rahmen in das nächste Bild zu übernehmen. Dann korrigieren Sie nur, was sich geändert hat.

Ergebnis

  • LumiScan Annotation ist installiert und lizenziert.

  • Die Bilder sind geladen, und die Objektklassen sind als Labels angelegt.

  • Die Objekte sind mit gedrehten Begrenzungsrahmen markiert, und die Annotationen sind neben den Bildern gespeichert.

Die Ordner mit den Bildern und ihren Annotationsdateien sind die Eingabe für das Training. Antworten auf häufige Fragen stehen in der FAQ, Probleme in Fehlerbehebung.