KI-Governance im Mittelstand heißt: Sie wissen, welche KI-Werkzeuge im Unternehmen laufen, wer dafür geradesteht, welche Daten hineindürfen und wie Ihre Mitarbeitenden den Umgang lernen. Mehr braucht es für den Anfang nicht. Ein Regelwerk mit 80 Seiten hilft Ihnen nicht, wenn niemand es liest.
Der Hintergrund: Ihre Teams nutzen KI vermutlich schon, mit und ohne Freigabe. Governance macht diese Nutzung sichtbar und steuerbar. Der Rest dieses Ratgebers zeigt, welche Bausteine Sie minimal brauchen, wie Sie sie über drei Stufen aufbauen und welche Fehler Sie vermeiden.
Was gehört zu KI-Governance im Mittelstand mindestens dazu?
Sieben Bausteine decken den Kern ab:
- KI-Inventar: eine Liste aller eingesetzten KI-Werkzeuge, auch der Funktionen in bestehender Software und der Tools, die einzelne Mitarbeitende privat nutzen.
- Verantwortliche: pro Werkzeug eine Person, die den Einsatz fachlich verantwortet, und eine zentrale Ansprechperson für das Thema.
- Nutzungsrichtlinie: wenige Seiten, die klären, was erlaubt ist, was nicht und an wen man sich bei Zweifeln wendet.
- Datenwege: welche Datenklassen in welches Werkzeug dürfen und wo Daten verarbeitet werden. Details dazu finden Sie in unserem Leitfaden zur DSGVO-konformen Nutzung von ChatGPT und Claude.
- Freigaben: ein einfacher Weg, wie ein neues Werkzeug oder ein neuer Einsatzfall geprüft und erlaubt wird.
- Schulung: Maßnahmen zur KI-Kompetenz nach Art. 4 KI-VO.
- Dokumentation: knapp festhalten, was Sie entschieden haben und wann.
Was verlangt Art. 4 KI-VO konkret?
Art. 4 gilt seit dem 2. Februar 2025. Die Digital-Omnibus-Verordnung VO (EU) 2026/1744, in Kraft seit dem 27. Juli 2026, hat ihn neu gefasst. Unternehmen ergreifen demnach Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen. Ein bestimmtes Niveau müssen sie nicht garantieren.
Für die Praxis heißt das: Sie brauchen ein nachvollziehbares Schulungs- und Unterstützungsangebot, abgestuft nach Rolle und Einsatz. Wer täglich mit einem Chatbot arbeitet, braucht etwas anderes als jemand, der nur gelegentlich eine Übersetzung prüft. Im AI Act selbst gibt es für Art. 4 keinen eigenen Bußgeldrahmen. Verlassen sollten Sie sich darauf nicht, denn Folgen können sich aus Datenschutz, Haftung oder Kundenverträgen ergeben.
Für den Schulungsnachweis hat NLD das Produkt AI Conform gebaut. Sie können Ihre Maßnahmen aber auch intern dokumentieren.
Wie baue ich das Ganze in drei Stufen auf?
Das Modell richtet sich an Unternehmen mit 50–250 Mitarbeitenden. Jede Stufe steht für sich. Sie können nach Stufe 1 stoppen und haben trotzdem Ordnung geschaffen.
Stufe 1: Überblick schaffen. Sie erstellen das KI-Inventar, benennen eine zentrale Ansprechperson und veröffentlichen eine kurze Nutzungsrichtlinie. Fragen Sie dafür in den Abteilungen nach, statt nur die IT zu befragen. Die meisten Überraschungen stecken in Marketing, Vertrieb und Büro.
Stufe 2: Steuerung einführen. Sie legen Datenklassen fest, definieren den Freigabeweg und starten die Schulung nach Art. 4. Neue Werkzeuge werden ab jetzt vor dem Einsatz geprüft, nicht danach.
Stufe 3: Absichern und pflegen. Sie dokumentieren Entscheidungen, prüfen das Inventar regelmäßig, bewerten Anbieter und stufen Einsatzfälle nach Risiko ein. Dazu gehört die Frage, ob ein Einsatzfall unter die Verbote oder die Hochrisiko-Regeln der KI-Verordnung fallen könnte. Hier lohnt sich auch ein Blick in das NIST AI Risk Management Framework oder die ISO/IEC 42001, ohne dass Sie sich zertifizieren lassen müssen.
Welche Bausteine kosten wie viel Aufwand?
| Baustein | Prüffrage | Aufwand |
|---|---|---|
| KI-Inventar | Kennen wir alle Werkzeuge, auch Schatten-KI und eingebaute Funktionen? | klein |
| Verantwortliche | Hat jedes Werkzeug einen Namen, der dafür geradesteht? | klein |
| Nutzungsrichtlinie | Weiß jede Person, was sie eingeben darf und was nicht? | klein |
| Datenwege | Wissen wir, welche Daten wohin fließen und wo sie verarbeitet werden? | mittel |
| Freigabeprozess | Wird ein neues Werkzeug vor dem Einsatz geprüft? | mittel |
| Schulung (Art. 4) | Können wir zeigen, welche Maßnahmen wir pro Rolle ergriffen haben? | mittel |
| Dokumentation | Ist nachvollziehbar, wer wann was entschieden hat? | klein |
Der Aufwand hängt von Ihrer Ausgangslage ab. Mit einem sauberen Inventar und einer klaren Verantwortlichkeit sparen Sie bei allen anderen Bausteinen Zeit.
Wer sollte in der Geschäftsführung die Verantwortung tragen?
Entscheiden Sie das früh und benennen Sie eine Person. In Häusern dieser Größe ist das häufig die Geschäftsführung selbst oder eine Bereichsleitung mit Rückhalt der Geschäftsführung. Sie muss keine Technikerin sein. Sie braucht Zeit für ein kurzes Treffen pro Quartal, bei dem Inventar, offene Freigaben und Schulungsstand durchgegangen werden. Die Datenschutzbeauftragte und die IT sind dabei Beteiligte, aber nicht die Eigentümer des Themas.
Welche Fehler sehen wir immer wieder?
- Richtlinie ohne Inventar. Sie regeln Werkzeuge, die Sie gar nicht vollständig kennen.
- Verbot als Strategie. Wer ChatGPT pauschal sperrt, schiebt die Nutzung auf private Geräte. Dort haben Sie weniger Kontrolle als vorher.
- Alles bei der IT geparkt. Die IT kennt die Technik, aber nicht, welche Daten die Fachabteilung eingibt. Fachbereiche gehören an den Tisch.
- Einmalschulung. Ein einzelnes Webinar trägt nicht, wenn sich Werkzeuge und Aufgaben ändern. Planen Sie wiederkehrende, rollenbezogene Maßnahmen.
- Dokumentation als Nachgedanke. Wenn Sie Entscheidungen nicht festhalten, können Sie später weder Kunden noch Prüfern erklären, warum Sie so gehandelt haben.
- Zu groß gestartet. Ein Governance-Projekt mit Steuerkreis und Zertifizierungsziel scheitert in vielen Unternehmen an der Alltagstauglichkeit, bevor das erste Werkzeug erfasst ist.
Womit fangen Sie diese Woche an?
Legen Sie eine Tabelle an und lassen Sie jede Abteilungsleitung eintragen, welche KI-Werkzeuge ihr Team nutzt. Das dauert wenige Tage und liefert Ihnen die Grundlage für alles Weitere. Wenn Sie wissen wollen, wo Ihr Unternehmen insgesamt steht, hilft der KI-Readiness-Check. Für ein Gespräch über Ihren konkreten Fall erreichen Sie uns über die Kontaktseite. Wie Sie mehrere Anbieter sinnvoll kombinieren, lesen Sie in unserem Beitrag zur Multi-Vendor-KI-Strategie.
Hinweis: Dieser Beitrag ist eine praktische Orientierung und keine Rechtsberatung. Bewertungen im Einzelfall klären Sie bitte mit Ihrer Rechtsberatung oder Ihrem Datenschutzbeauftragten.
Quellen und weiterführende Dokumente
Häufige Fragen
Kurz und direkt beantwortet.
Brauche ich als Mittelständler überhaupt KI-Governance?
Ja, sobald in Ihrem Unternehmen irgendjemand KI-Werkzeuge nutzt, und das tun die meisten Teams längst. Governance heißt hier nur: Sie wissen, welche Werkzeuge im Einsatz sind, wer dafür verantwortlich ist und welche Daten hineindürfen. Dafür brauchen Sie kein Gremium und kein Zertifikat.
Was verlangt Art. 4 der KI-Verordnung von meinem Unternehmen?
Art. 4 verlangt, dass Sie Maßnahmen ergreifen, um die KI-Kompetenz Ihres Personals zu unterstützen. Er gilt seit dem 2. Februar 2025 und wurde durch die Digital-Omnibus-Verordnung VO (EU) 2026/1744 neu gefasst. Ein bestimmtes Kompetenzniveau müssen Sie nicht garantieren, die Maßnahmen sollten Sie aber nachweisen können.
Gibt es ein Bußgeld, wenn ich keine Schulungen nachweisen kann?
Im AI Act selbst gibt es für Art. 4 keinen eigenen Bußgeldrahmen. Das ist kein Freibrief, denn Folgen können sich aus anderen Regeln ergeben, etwa aus Datenschutz oder Haftung. Lassen Sie das im Einzelfall juristisch prüfen.
Muss ich nach ISO/IEC 42001 zertifiziert sein?
Nein, eine Zertifizierung ist für den Start nicht nötig und im Mittelstand selten der erste Schritt. Die Norm und das NIST AI Risk Management Framework taugen aber als Orientierung, wenn Sie Ihre Governance später ausbauen oder Kunden danach fragen.