Alle Begriffe im Glossar

Was ist ein Confidence-Score?

Kurzdefinition

Ein Confidence-Score ist ein Wert, den ein KI-Modell zu jedem Ergebnis mitliefert, etwa zu einem aus einem PDF gelesenen Betrag. Er drückt aus, wie sicher sich das Modell ist, meist zwischen 0 und 1. Er hilft, die Prüfarbeit zu ordnen. Die tatsächliche Trefferquote auf Ihren Dokumenten sagt er nicht, die zeigt erst ein Testset.

Wenn eine Software Beträge, Mengen oder Artikelnummern aus Dokumenten liest, liefert sie oft zu jedem Feld eine Zahl mit: den Confidence-Score. Die Zahl wirkt wie eine Fehlerwahrscheinlichkeit. Ob sie diese Rolle erfüllt, entscheidet darüber, ob Sie Ihre Prüfarbeit damit sinnvoll steuern oder sich auf ein trügerisches Gefühl von Sicherheit verlassen.

Was der Wert aussagt

Für AI Builder beschreibt Microsoft den Score für Tabellen und Zellen als Maß dafür, wie sicher das Modell bei seiner Vorhersage ist. Höhere Werte bedeuten mehr Sicherheit, niedrige mehr Unsicherheit. Die Werte sollen helfen, verlässliche Ausgaben zu priorisieren und die menschliche Prüfung zu lenken.

Für Azure Document Intelligence nennt Microsoft den Feldwert eine geschätzte Wahrscheinlichkeit zwischen 0 und 1, dass die Vorhersage stimmt. Ein Wert von 0,95 soll bedeuten, dass sie in 19 von 20 Fällen richtig liegt. Wo Genauigkeit zählt, lasse sich anhand des Werts entscheiden, ob ein Ergebnis automatisch übernommen oder einem Menschen vorgelegt wird.

Den einen Score gibt es dabei nicht. Azure Document Intelligence liefert je nach Modell mehrere Werte, darunter Wort- und Feldwerte, und Microsoft rät, den Wert der Texterkennung und den des Feldes zusammen zu lesen. Bei eigenen Modellen kommen ein Wert zum Dokumenttyp und für Tabellen Werte für Zelle, Zeile und Tabelle hinzu. Eine richtig erkannte Zelle kann in einer Zeile mit anderen Fehlern stehen, dann ist der Zellwert hoch und der Zeilenwert niedrig. AI Builder nennt für Tabellen und Zellen Werte, für einzelne Zeilen dagegen keine.

Warum der Score keine Trefferquote ist

Berechnet wird der Wert bei AI Builder laut Microsoft aus Merkmalen der Trainingsbeispiele, etwa wie oft ein Feld dort überhaupt einen Wert hat, und aus dem konkreten Dokument. Der Score beschreibt also die Sicherheit des Modells vor dem Hintergrund seines Trainings. Ob 0,95 bei Ihren Belegen tatsächlich 19 richtige von 20 bedeutet, zeigt nur eine Messung. Für eigene Modelle in Azure Document Intelligence weist Microsoft selbst darauf hin, dass ein niedriger Dokumenttyp-Wert auf Abweichungen zwischen Ihrem Dokument und den Trainingsdaten hindeutet.

Etwas anderes ist es, wenn ein Sprachmodell im Antworttext selbst eine Sicherheit angibt. Eine solche Selbstauskunft ist keine belegte Fehlerquote. Nutzen Sie sie höchstens als Hinweis, nie als Kriterium dafür, dass ein Mensch nicht mehr hinsehen muss.

Schwellen am eigenen Testset festlegen

Die Schwelle, ab der ein Ergebnis ohne Prüfung durchläuft, legen Sie an Ihrem eigenen Testset fest. Dazu lassen Sie die Anwendung über Fälle laufen, deren richtige Werte feststehen, und zählen, wie viele Felder oberhalb einer Testschwelle trotzdem falsch waren. Setzen Sie die Schwelle niedrig, laufen mehr Fälle ohne Prüfung durch, und es rutschen mehr Fehler mit. Setzen Sie sie hoch, landen mehr Fälle bei Ihrem Team. Welche Mischung Sie tragen können, ist eine Entscheidung der Geschäftsführung und der Fachabteilung, die auf diesen Zahlen beruht.

Legen Sie die Schwelle je Feld fest. Beträge verlangen eine strengere Grenze als Freitext, und bei der Zuordnung zu einem Mandanten empfehlen wir im Testset keine tolerierte Fehlzuordnung. Außerdem ersetzt der Score keine Geschäftsregeln. Pflichtfelder, Stammdatenabgleich, Dubletten und Hinweise auf Gefahrgut gelten unabhängig vom Wert. Im Ampelmodell unseres Ratgebers zur Auftragserfassung in der Spedition gehören solche Regeln in die Anwendung und nicht in das Gefühl des Sprachmodells.

Beispiel: Die verbundene Zelle

Konstruiertes Beispiel ohne Kundendaten. Warum wir so arbeiten

Ein Maschinenbauer lässt Bestell-PDFs auslesen: Artikelnummer, Menge, Wunschtermin. Eine Kundin schickt Bestellungen mit einer Tabelle, in der Zellen verbunden sind. Für die Menge in der verbundenen Zelle meldet die Extraktion einen niedrigeren Wert als für die übrigen Zeilen. Für Azure Document Intelligence erwartet Microsoft genau das: Verbundene Zellen sollen niedrigere Confidence-Werte bekommen.

Mit einer Schwelle, die am Testset geprüft wurde, geht dieses Feld zur Prüfung an die Sachbearbeitung, während Artikelnummern mit hohem Wert durchlaufen dürfen. Die prüfende Person sieht dabei die Stelle im PDF, aus der der Wert stammt. Fehlt dagegen die Kundennummer, greift eine Regel, gleichgültig wie hoch der Score der übrigen Felder ausfällt: Ohne Kundennummer geht der Auftrag nie ins ERP.

Wichtig ist die Reihenfolge. Erst entsteht das Testset, dann die Schwelle. Ein Wert, den der Hersteller vorschlägt, ist ein Startpunkt für den Test und keine Freigabe.

Genauigkeit, Testset und Freigabe

Genauigkeit und Confidence meinen nicht dasselbe. Bei Azure Document Intelligence trennt Microsoft die geschätzte Genauigkeit, die beim Training eines eigenen Modells auf beschrifteten Beispielen entsteht, vom Confidence-Wert, der bei jeder einzelnen Analyse anfällt. Hohe Genauigkeit bei niedrigem Confidence-Wert deutet laut Microsoft darauf hin, dass das analysierte Dokument anders aussieht als die Trainingsdokumente. Für sensible Fälle wie Finanz- oder Medizindaten empfiehlt Microsoft eine Genauigkeit nahe dem Höchstwert und nennt für kritische Abläufe zusätzlich eine menschliche Prüfstufe.

Das Testset misst die Trefferquote auf Ihren Belegen, der Score ist die Selbsteinschätzung des Modells. Erst beides zusammen ergibt eine Schwelle, auf die Sie sich verlassen können.

Der Freigabeschritt legt fest, ob und wo ein Mensch eingreift. Der Score liefert dafür nur eine Reihenfolge: Er sortiert die Fälle, die sich das Team zuerst ansieht. Das BSI empfiehlt bei potenziell kritischen Auswirkungen, Ausgaben vor der weiteren Verwendung zu prüfen.

Prüffragen für Ihr Projekt

  1. Gilt der Score je Feld oder je Dokument, und welche Felder laufen nie ohne Prüfung durch, etwa Beträge, Mengen oder die Zuordnung zu einem Mandanten?
  2. Auf welchem Testset wurde die Schwelle festgelegt, und wie viele Fehler lagen trotz hohem Wert oberhalb der Schwelle?
  3. Welche Regeln gelten unabhängig vom Score, zum Beispiel Pflichtfelder, Stammdatenabgleich, Dubletten oder ein Gefahrgut-Hinweis?
  4. Wie groß ist der Anteil der Fälle unter der Schwelle, und kann Ihr Team diese Prüflast dauerhaft tragen?
  5. Wer prüft die Schwelle erneut, wenn sich Dokumentlayout, Modell oder Anbieter ändern?

Wie Sicherheitswerte in einen Prüfablauf passen, beschreiben die Ratgeber zur KI-Dokumentenverarbeitung bei PDF-Bestellungen und zum Sortieren von Dokumenten in der Steuerkanzlei. Die technische Umsetzung beschreibt unsere Seite zur KI-Integration.

Quellen und weiterführende Dokumente

  1. Interpret confidence score for tables and table cellsMicrosoft Learn, AI Builder
  2. Interpret and improve model accuracy and confidence scoresMicrosoft Learn, Azure Document Intelligence
  3. Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden (Version 2.0, Januar 2025)Bundesamt für Sicherheit in der Informationstechnik (BSI)

Weiterlesen

Konkreter Fall

Wie sieht das bei Ihrem Ablauf aus?

Im kostenfreien 30-minütigen Erstgespräch klären wir an Ihrem Ablauf, was davon für Sie zählt. Direkt mit Simon, ohne Vorbereitung auf Ihrer Seite.

Erstgespräch anfragen