Annotationen mit zwei Annotatoren prüfen

Zwei Personen, die dasselbe Bild unabhängig annotieren, zeichnen selten genau dieselben Rahmen. Wo sie abweichen, ist das Bild schwierig oder die Anweisung unklar. LumiScan Annotation Web nutzt das, um die Trainingsdaten zu verbessern: Der Server vergleicht die Annotatoren, schreibt die Referenz selbst, wenn sie übereinstimmen, und zeigt einem Prüfer genau, wo sie abweichen.

1. Einschalten

Ein Projekt-Admin öffnet Einstellungen und setzt unter Mehrere Annotatoren je Bild:

  • Annotatoren je Bild: 2 (oder mehr).

  • Übereinstimmung: Überlappung ≥ %: wie stark sich zwei Rahmen überlappen müssen, um als derselbe Rahmen zu gelten, Standard 85 %.

  • Übereinstimmung: Winkel innerhalb °: Standard 5°.

  • Referenz automatisch schreiben, wenn alle Annotatoren übereinstimmen: ein.

2. Blind annotieren

Die Annotatoren arbeiten wie gewohnt im Modus Annotieren. Jeder sieht nur seine eigenen Rahmen, nie die der anderen. Die Bildliste zeigt, wie viele ein Bild annotiert haben (1/2).

Modus Annotieren mit zwei Annotatoren je Bild: Die Bildliste zeigt 1/2 oder 2/2 je Bild, das Bild zeigt nur die eigenen Rahmen

Wenn der letzte Annotator speichert:

  • alle stimmen überein: dieselben Objekte, dieselben Labels, Überlappung und Winkel innerhalb der Grenzen. Der Server schreibt die gemittelten Rahmen als Referenz <Bild>.csv. Der Status meldet Gespeichert. Alle 2 Annotatoren stimmen überein: Referenzannotation geschrieben.

  • sie weichen ab: Das Bild geht in die Prüfung.

3. Abweichungen prüfen

Prüfer wechseln in der oberen Leiste auf Prüfen. Die Liste ist nach den größten Abweichungen sortiert.

Modus Prüfen: die Rahmen der beiden Annotatoren in Blau und Orange im Bild, rote nummerierte Markierungen an den Abweichungen und die Liste der Abweichungen rechts

Jeder Annotator hat eine Farbe; rote nummerierte Markierungen zeigen die Abweichungen:

  • ein Rahmen, den nur eine Person gezeichnet hat,

  • Überlappung zu gering,

  • Winkel zu verschieden,

  • Unterkante auf der gegenüberliegenden Seite,

  • anderes Label.

Für jede Abweichung bietet der Bereich rechts die Rahmen jeder Person, Mittelwert oder Keiner an. Anzeigen zoomt dorthin. Ist jede Abweichung entschieden, schreibt Speichern die Referenzannotation. Eine geprüfte Referenz wird nie automatisch überschrieben.

Bereich Unterschiede: zwei Annotatoren, zwei von sieben Objekten weichen ab; je Abweichung die Schaltflächen Anzeigen, die Namen der Annotatoren, Mittelwert und Keiner

4. Statistik lesen

Statistik in der oberen Leiste zeigt die Übereinstimmung für einen Ordner oder das ganze Projekt:

Übereinstimmung zwischen Annotatoren: Bilder mit zwei Annotatoren, Anteil übereinstimmender Bilder und Objekte, mittlere Überlappung; Tabellen je Annotator, je Paar, Abweichungen nach Art und die Bilder mit den größten Abweichungen

  • Je Annotator: Überlappung mit dem Konsens und systematische Gewohnheiten, z. B. breiter als die anderen gezeichnete Rahmen (Breite +3 %) oder gedrehte.

  • Annotatorenpaare: Übereinstimmung (F1) und mittlere Überlappung.

  • Unterschiede nach Art und Größte Unterschiede: Klicken Sie ein Bild an, um es zu prüfen.

Nutzen Sie die Werte je Annotator, um die Anweisungen zu verbessern: Eine systematische Abweichung bedeutet meist, dass die Regel nicht klar war.

Mehr: Mehrere Annotatoren je Bild.