# Was ist ein Testset?

> Ein Testset ist eine feste Fallsammlung mit vorab bekannten Lösungen, an der Sie eine KI prüfen. So messen Sie Fehler an Ihren Daten, nicht an Demos.

- URL: https://newlifedigital.de/glossar/testset/
- Stand: 2026-10-24
- Quelle: Hauptinhalt der HTML-Seite aus demselben Build (Revision 70123df). Maßgeblich ist die HTML-Seite.
- Pflege: New Life Digital, Simon Maiwald

[Alle Begriffe im Glossar](https://newlifedigital.de/glossar/)

Glossar Stand 24. Oktober 2026 5 Min. Lesezeit

Kurzdefinition

Ein Testset ist eine feste Sammlung von Fällen aus Ihrem Alltag, zu denen Fachleute die richtige Lösung festlegen, bevor die KI läuft. Die Anwendung bearbeitet alle Fälle, und Sie vergleichen das Ergebnis mit den Sollwerten. So messen Sie Fehler an Ihren eigenen Daten, statt Herstellerangaben oder dem Eindruck aus einer Vorführung zu glauben.

![Simon Maiwald](https://newlifedigital.de/_astro/simon-mafinex.DWyAlnqC_Z26Shy.webp?dpl=dpl_DfdKKjZksbVc8fhwsZTZHMgHqEXx)

Geschrieben von [Simon Maiwald](https://newlifedigital.de/team/simon-maiwald/)

Gründer & Produktentwicklung · DHBW-Absolvent, MAFINEX-Resident und ehemaliger DHBW-Dozent

Veröffentlicht 24. Oktober 2026 **Fachlich geprüft am 24. Oktober 2026**

[Testset Erstgespräch anfragen](https://newlifedigital.de/kontakt/?source=discovery-sprint)

Eine Vorführung zeigt, dass eine KI-Anwendung bei den Beispielen des Anbieters funktioniert. Ob sie bei Ihren Fällen funktioniert, zeigt ein Testset. Es ist das wichtigste Werkzeug für eine Abnahmeentscheidung vor dem Start, und es kostet vor allem Zeit Ihrer Fachleute und kaum Technik.

## Aus welchen Teilen ein Testset besteht

Jeder Fall besteht aus einer Eingabe, etwa einer Mail, einem Scan oder einer Frage an die Wissensdatenbank, und einem Sollwert. Eine Fachkraft legt den Sollwert vor dem ersten Lauf fest. Gilt diese Reihenfolge nicht, entsteht die Versuchung, den Sollwert dem Ergebnis der KI anzupassen.

Anthropic rät in der Entwicklerdokumentation zu Tests, die die tatsächliche Verteilung Ihrer Aufgabe abbilden, und nennt Randfälle ausdrücklich: fehlende Eingabedaten, sehr lange Eingaben, schlechte oder schädliche Nutzereingaben und mehrdeutige Fälle, bei denen sich selbst Menschen uneins wären. Unsere Ratgeber übertragen das auf den Alltag. Für eine Steuerkanzlei empfehlen wir Belege aus einem abgeschlossenen Zeitraum, die den echten Mix abbilden: gute Scans, schlechte Fotos, Sonderfälle. In der Spedition stammen die Fälle aus echten, anonymisierten Eingängen mehrerer Wochen.

Beim Datenschutz gilt: Echte Mandantenbelege gehören erst ins Testset, wenn Vertrag und Datenweg geklärt sind. Bis dahin helfen selbst erstellte Muster ohne Bezug zu realen Personen.

Ein gutes Testset enthält auch Fälle, in denen die Anwendung nichts tun darf: eine Frage, auf die keine Quelle antwortet, einen Nutzer ohne Berechtigung, ein Dokument mit versteckter Anweisung, wie es der Begriff [Prompt Injection](https://newlifedigital.de/glossar/prompt-injection/) beschreibt. Genau diese Fälle zeigen, ob die Anwendung im Alltag sicher scheitert.

## Wie Sie auswerten

Zählen Sie Fehler getrennt nach Art. In einer Kanzlei sind eine falsch erkannte Belegart, ein falsch gelesener Betrag und eine falsche Mandantenzuordnung drei verschiedene Fehler. Der letzte ist der teuerste, weil ein Dokument dann in der Akte einer anderen Person landen kann. Bei Wissenssystemen trennen wir Suche, Berechtigung, Quellentreue, Antwortnutzen und Abbruchverhalten. Das Ragas-Paper unterscheidet ähnlich die Relevanz des gefundenen Kontexts, die treue Nutzung dieses Kontexts und die Qualität der erzeugten Antwort.

Die Mindestquoten legt Ihr Unternehmen fest, vorab und je Fehlerart. Weder ein Anbieter noch ein Berater kann Ihnen sagen, wie viele Fehler Ihr Betrieb verträgt. Ein bewährter Weg ist der Mitlaufbetrieb: Das Team arbeitet wie bisher, die KI läuft parallel, und Sie vergleichen anschließend beide Ergebnisse.

Wiederholen Sie das Testset, sobald sich Daten, Aufbereitung, Suchlogik, Prompt oder Modell ändern. Das BSI empfiehlt, Tests periodisch und anlassbezogen anzupassen und zu wiederholen, etwa wenn neue Schwachstellen oder Angriffsmethoden bekannt werden. Anthropic rät außerdem, Ergebnisse möglichst automatisch bewertbar zu machen. Mit festen Sollwerten gelingt das, und der Wiederholungslauf kostet dann kaum Zeit.

## Beispiel: Serviceanfragen einordnen

*Konstruiertes Beispiel ohne Kundendaten.* [Warum wir so arbeiten](https://newlifedigital.de/redaktionsgrundsaetze/)

Ein Maschinenbauer will Serviceanfragen vorsortieren. Das Testset enthält Mails aus mehreren Wochen, die Fachleute aus dem Service vorab eingeordnet haben:

| Testfall | Sollwert |
| --- | --- |
| Eindeutige Störmeldung mit Seriennummer | Kategorie Störung, Anlage zugeordnet |
| Eine Mail mit Störung und Ersatzteilfrage | Beide Anliegen sichtbar, je eine Zuständigkeit |
| Typenschildfoto mit unleserlicher letzter Ziffer | Zwei Kandidaten zur Auswahl, keine geratene Anlage |
| Anfrage ohne Seriennummer | Rückfrage, Übergabe an eine benannte Person |
| Mail mit eingebauter Anweisung, Daten zu versenden | Keine Aktion, Anfrage normal einsortiert |

Die Zeilen sind zur Illustration gewählt und kein Messergebnis. Nach dem Lauf zeigt die Auswertung je Zeile, was die Software getan hat. Ein Fall wie der mit dem Foto ist besonders wertvoll, weil er das Verhalten bei Unsicherheit sichtbar macht.

Die Fälle dürfen nicht beim Einrichten mitbenutzt werden. Wer Prompt oder Regeln so lange an denselben Fällen anpasst, bis alles besteht, misst am Ende nur noch, wie gut die Einstellung diese Fälle kennt. Legen Sie deshalb einen Teil der Fälle zurück und zeigen Sie ihn der Anwendung erst bei der Abnahme.

## Was ein Testset nicht ist

In der Entwicklung heißen solche Sammlungen Evals. Anthropic empfiehlt, Erfolgskriterien konkret und messbar zu formulieren, also statt „gute Leistung“ zum Beispiel eine genau benannte Klassifikation mit einer Zielgröße. Für den Betrieb im Mittelstand ist das Testset die verständlichere Bezeichnung, gemeint ist dasselbe.

Der [Confidence-Score](https://newlifedigital.de/glossar/confidence-score/) ist die Selbsteinschätzung des Modells, das Testset die Messung. Welche Grenze für den Score gilt, bestimmen Sie am Testset und nicht anhand von Herstellerwerten. Erst dort zeigt sich, wie viele Fehler ein hoher Score durchlässt.

Ein Pilot im Alltag zeigt Bedienung und Akzeptanz, das Testset zeigt Fehlerarten unter kontrollierten Bedingungen. Welche Aussagen eine Demo und ein Alltagstest jeweils erlauben, erklärt der Ratgeber zu [POC und Pilot](https://newlifedigital.de/blog/poc-first-vs-pilot-first/).

Das Testset prüft vor dem Start. Der [Freigabeschritt](https://newlifedigital.de/glossar/freigabeschritt/) greift im Betrieb bei jedem einzelnen Fall. Beides ergänzt sich, und keines ersetzt das andere.

## Prüffragen für Ihr Projekt

1. Stammen die Fälle aus Ihrem echten Bestand über mehrere Wochen, einschließlich schlechter Scans und Sonderfälle, und legt eine Fachkraft die Sollwerte vor dem ersten Lauf fest?
2. Welche Fehlerarten werden getrennt gezählt, und welche sind gar nicht tolerierbar, etwa eine falsche Mandantenzuordnung oder ein übersehener Gefahrgut-Hinweis?
3. Enthält das Testset Fälle, in denen die Anwendung ablehnen oder stoppen muss: fehlende Quelle, fehlende Berechtigung, versteckte Anweisung?
4. Wann läuft das Testset erneut, und wer entscheidet nach einem Modell-, Prompt- oder Datenwechsel, ob die Abnahme noch gilt?

Praxisbeispiele für Abnahmefälle stehen im Ratgeber zur [Auftragserfassung in der Spedition](https://newlifedigital.de/blog/auftragserfassung-spedition-ki/) und im Ratgeber [RAG im Unternehmen](https://newlifedigital.de/blog/rag-im-unternehmen-wissensdatenbank/). Im [KI-Prototyp](https://newlifedigital.de/discovery-sprint/) legen wir die Abnahmefälle am ersten Tag gemeinsam mit Ihnen fest und testen am vierten Tag dagegen.

## Quellen und weiterführende Dokumente

1. [Define success criteria and build evaluations](https://platform.claude.com/docs/en/docs/test-and-evaluate/develop-tests) Anthropic, Claude Developer Platform
2. [Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden (Version 2.0, Januar 2025)](https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf?__blob=publicationFile&v=4) Bundesamt für Sicherheit in der Informationstechnik (BSI)
3. [Ragas: Automated Evaluation of Retrieval Augmented Generation](https://arxiv.org/abs/2309.15217) Es, James, Espinosa-Anke, Schockaert (arXiv)

## Weiterlesen

### Ratgeber dazu

- [Auftragserfassung in der Spedition mit KI](https://newlifedigital.de/blog/auftragserfassung-spedition-ki/)
- [RAG im Unternehmen](https://newlifedigital.de/blog/rag-im-unternehmen-wissensdatenbank/)
- [KI Dokumente in der Steuerkanzlei sortieren](https://newlifedigital.de/blog/ki-steuerkanzlei-dokumente-sortieren/)

### Passende Leistung

- [KI-Prototyp für Software und KI](https://newlifedigital.de/discovery-sprint/)
  Einen konkreten Ablauf vor dem Build an Ihren eigenen Fällen prüfen.

### Weitere Begriffe

- [Confidence-Score](https://newlifedigital.de/glossar/confidence-score/)
- [Freigabeschritt](https://newlifedigital.de/glossar/freigabeschritt/)
- [Prompt Injection](https://newlifedigital.de/glossar/prompt-injection/)

Konkreter Fall

## Wie sieht das bei Ihrem Ablauf aus?

Im kostenfreien 30-minütigen Erstgespräch klären wir an Ihrem Ablauf, was davon für Sie zählt. Direkt mit Simon, ohne Vorbereitung auf Ihrer Seite.

[Erstgespräch anfragen](https://newlifedigital.de/kontakt/?source=discovery-sprint)
