Mehrere Annotatoren je Bild

Mit Annotatoren je Bild auf 2 oder mehr in den Projekteinstellungen wird jedes Bild von entsprechend vielen Personen unabhängig annotiert. Der Server vergleicht ihre Rahmen. Eine Schritt-für-Schritt-Anleitung steht unter Annotationen mit zwei Annotatoren prüfen.

Blindes Annotieren, automatische Übereinstimmung und Prüfung in 45 Sekunden (ohne Ton)

Modi

Annotatoren sehen den Modus Annotieren, Prüfer den Modus Prüfen und die Statistik. Wer beide Rollen hat, wechselt oben.

Annotieren (blind)

  • Jeder zeichnet seine eigene Version, ohne die Rahmen der anderen zu sehen.

  • Die Versionen liegen getrennt von der Referenz in <Ordner>/.annotations/<Bild>/<Benutzer>.tsv (gleiches Format wie die CSV; das Training ignoriert sie).

  • Mehrere Personen können dasselbe Bild gleichzeitig annotieren.

  • Die Bildliste zeigt annotiert / benötigt (1/2) und ob Sie es erledigt haben. Annotatoren sehen, wie viele annotiert haben, nicht wer.

  • Anzeigen → Nicht von mir annotiert filtert die Liste.

Automatischer Konsens

Wenn der letzte benötigte Annotator speichert, vergleicht der Server alle Versionen. Sie stimmen überein, wenn

  • jedes Objekt von allen gezeichnet wurde (niemand hat einen Rahmen ausgelassen),

  • zueinander gehörende Rahmen sich mindestens um den eingestellten Wert überlappen (Übereinstimmung: Überlappung ≥ %, Standard 85 %, gemessen als gedrehte Schnittmenge durch Vereinigung),

  • ihre Winkel weniger als die Grenze abweichen (Standard 5°), mit der Unterkante auf derselben Seite,

  • sie dasselbe Label haben.

Dann schreibt der Server die gemittelten Rahmen als Referenzannotation <Bild>.csv, die Datei, die das Training liest, mit auto-consensus als Benutzer im .json-Verlauf. Sonst geht das Bild in die Prüfung.

Die Rahmen verschiedener Annotatoren werden über die gedrehte Überlappung optimal einander zugeordnet (Ungarische Methode).

Prüfen

Modus Prüfen mit den Rahmen zweier Annotatoren in ihren Farben, roten nummerierten Markierungen an den Abweichungen und dem Bereich Unterschiede rechts

  • Die Bildliste zeigt den Stand jedes Bildes: offen, zu prüfen, angenommen (automatisch übereinstimmend), erledigt (geprüft). Sie ist nach den größten Abweichungen sortiert; Sortieren ändert das.

  • Jeder Annotator hat eine Farbe; die Legende blendet einzelne Annotatoren ein und aus.

  • Rote nummerierte Markierungen zeigen die Abweichungen: Rahmen fehlt bei jemandem, Überlappung zu gering, Winkel, Unterkante auf der anderen Seite, anderes Label.

  • Je Abweichung: Anzeigen zoomt dorthin; die Schaltflächen übernehmen den Rahmen einer Person, den Mittelwert (Mittelwert) oder keinen (Keiner) in die Referenz.

  • Die Rahmen im Editor lassen sich vor dem Speichern auch frei ändern.

  • Speichern schreibt die Referenzannotation. .annotations/<Bild>/consensus.json hält fest, wer entschieden hat. Eine geprüfte Referenz wird nie automatisch überschrieben, auch nicht, wenn ein Annotator erneut speichert.

Statistik

Statistik zeigt die Übereinstimmung für einen Ordner oder das ganze Projekt:

Übereinstimmung zwischen Annotatoren: Kennzahlen, je Annotator, Annotatorenpaare, Abweichungen nach Art, größte Abweichungen

Übersicht

Bilder mit genug Annotatoren, Anteil vollständiger Bilder mit voller Übereinstimmung, mittlere Überlappung, Anteil übereinstimmender Objekte; Bilder offen, zu prüfen, automatisch übereinstimmend, geprüft

Per annotator

Überlappung mit dem Konsens; systematische Abweichung von Breite, Höhe und Winkel vom Mittelrahmen; Rahmen, die nur diese Person gezeichnet hat, ausgelassene Rahmen; andere Labels

Pairs of annotators

Übereinstimmung (F1) und mittlere Überlappung je Paar

Differences by kind

Wie oft jede Art von Abweichung vorkommt

Largest differences

Die Bilder mit den meisten und größten Abweichungen; anklicken zum Prüfen