Annotationen mit zwei Annotatoren prüfen

Zwei Personen, die dasselbe Bild unabhängig annotieren, zeichnen selten genau dieselben Rahmen. Wo sie abweichen, ist das Bild schwierig oder die Anweisung unklar. LumiScan Annotation Web nutzt das, um die Trainingsdaten zu verbessern: Der Server vergleicht die Annotatoren, schreibt die Referenz selbst, wenn sie übereinstimmen, und zeigt einem Prüfer genau, wo sie abweichen.

1. Einschalten

Ein Projekt-Admin öffnet Settings und setzt unter Several annotators per image:

  • Annotators per image: 2 (oder mehr).

  • Agree: overlap ≥ %: wie stark sich zwei Rahmen überlappen müssen, um als derselbe Rahmen zu gelten, Standard 85 %.

  • Agree: angle within °: Standard 5°.

  • Write the reference automatically when all annotators agree: ein.

2. Blind annotieren

Die Annotatoren arbeiten wie gewohnt im Modus Annotate. Jeder sieht nur seine eigenen Rahmen, nie die der anderen. Die Bildliste zeigt, wie viele ein Bild annotiert haben (1/2).

Modus Annotate mit zwei Annotatoren je Bild: Die Bildliste zeigt 1/2 oder 2/2 je Bild, das Bild zeigt nur die eigenen Rahmen

Wenn der letzte Annotator speichert:

  • alle stimmen überein: dieselben Objekte, dieselben Labels, Überlappung und Winkel innerhalb der Grenzen. Der Server schreibt die gemittelten Rahmen als Referenz <Bild>.csv. Der Status meldet Saved. All 2 annotators agree: reference annotation written.

  • sie weichen ab: Das Bild geht in die Prüfung.

3. Abweichungen prüfen

Prüfer wechseln in der oberen Leiste auf Review. Die Liste ist nach den größten Abweichungen sortiert.

Modus Review: die Rahmen der beiden Annotatoren in Blau und Orange im Bild, rote nummerierte Markierungen an den Abweichungen und die Liste der Abweichungen rechts

Jeder Annotator hat eine Farbe; rote nummerierte Markierungen zeigen die Abweichungen:

  • ein Rahmen, den nur eine Person gezeichnet hat,

  • Überlappung zu gering,

  • Winkel zu verschieden,

  • Unterkante auf der gegenüberliegenden Seite,

  • anderes Label.

Für jede Abweichung bietet der Bereich rechts die Rahmen jeder Person, Average (Mittelwert) oder None (keinen) an. Show zoomt dorthin. Ist jede Abweichung entschieden, schreibt Save die Referenzannotation. Eine geprüfte Referenz wird nie automatisch überschrieben.

Bereich Differences: zwei Annotatoren, zwei von sieben Objekten weichen ab; je Abweichung die Schaltflächen Show, die Namen der Annotatoren, Average und None

4. Statistik lesen

Statistics in der oberen Leiste zeigt die Übereinstimmung für einen Ordner oder das ganze Projekt:

Agreement between annotators: Bilder mit zwei Annotatoren, Anteil übereinstimmender Bilder und Objekte, mittlere Überlappung; Tabellen je Annotator, je Paar, Abweichungen nach Art und die Bilder mit den größten Abweichungen

  • Per annotator: Überlappung mit dem Konsens und systematische Gewohnheiten, z. B. breiter als die anderen gezeichnete Rahmen (Breite +3 %) oder gedrehte.

  • Pairs of annotators: Übereinstimmung (F1) und mittlere Überlappung.

  • Differences by kind und Largest differences: Klicken Sie ein Bild an, um es zu prüfen.

Nutzen Sie die Werte je Annotator, um die Anweisungen zu verbessern: Eine systematische Abweichung bedeutet meist, dass die Regel nicht klar war.

Mehr: Mehrere Annotatoren je Bild.