Welche LLM-Anbieter sind 2026 DSGVO-konform nutzbar?

Anthropic Claude (über AWS Frankfurt), OpenAI GPT (über Azure EU mit Enterprise-Tarif), Google Gemini (über Vertex AI Belgium) und Open-Source-Modelle wie Llama 3 oder Mistral auf eigener Infrastruktur sind 2026 alle DSGVO-konform nutzbar — vorausgesetzt der passende Tarif, ein Auftragsverarbeitungsvertrag und EU-Region-Hosting sind konfiguriert.

Was muss ein Auftragsverarbeitungsvertrag (AVV) für KI-Tools enthalten?

Ein DSGVO-fähiger AVV für KI-Tools enthält fünf Kernpunkte: (1) Ausschluss der Nutzung Ihrer Anfragen zum Modell-Training, (2) klare Angabe der Verarbeitungs-Region (EU-Garantie), (3) Sub-Processor-Liste mit EU-Standardvertragsklauseln, (4) Lösch- und Aufbewahrungsfristen Ihrer Anfragen, (5) Audit- und Auskunftsrechte. Anthropic, OpenAI Enterprise und Google Cloud bieten standardisierte AVVs.

Ist ChatGPT-Free DSGVO-konform für Unternehmen?

Nein. Die kostenlose Version von ChatGPT verarbeitet Eingaben für Modell-Training und bietet keinen Auftragsverarbeitungsvertrag. Für Unternehmens-Nutzung mit personenbezogenen oder geschäftlichen Daten ist mindestens ChatGPT Team oder ChatGPT Enterprise nötig — oder direkter API-Zugang über Azure EU mit AVV.

Wann lohnt sich On-Premise-Hosting eines LLMs?

On-Premise lohnt sich ab einem von zwei Schwellwerten: (1) Datenkategorie ist so sensibel, dass auch ein AVV nicht ausreicht (Verteidigung, hochsensible Patientendaten, Geschäftsgeheimnisse mit explizitem No-Cloud-Mandat), oder (2) das Token-Volumen liegt im mittleren sechsstelligen Bereich pro Monat — dann amortisiert sich die GPU-Hardware unter zwei Jahren. Für die meisten Mittelständler ist API mit AVV pragmatischer.

DSGVO-konforme KI-Integration 2026: Drei Wege

Wer 2025 noch gefragt hat “darf ich ChatGPT überhaupt nutzen?”, fragt 2026 die richtige Frage: wie integriere ich es so, dass Compliance-Audits, Datenschutzbeauftragte und Geschäftsführer entspannt schlafen? Die Antwort hat sich in den letzten 18 Monaten massiv geklärt — aber sie wird in Beratungsgesprächen oft falsch wiedergegeben. Drei Wege funktionieren in der Praxis. Diesen Artikel können Sie ausgedruckt mit zu Ihrem nächsten Datenschutz-Termin nehmen.

Wenn Sie noch am Anfang Ihrer KI-Reise stehen und vor allem wissen wollen welcher Use-Case zuerst kommt, lesen Sie zuerst unseren vollständigen Leitfaden zu KI im Mittelstand. Dieser Spoke hier vertieft die DSGVO-Schicht für die, die schon wissen was sie bauen wollen.

Die drei Wege zur DSGVO-konformen KI-Integration

Es gibt nicht die eine DSGVO-konforme Architektur. Es gibt drei real funktionierende Wege, die je nach Datenkategorie und Sektor passen. Wer alle drei kennt, kann pro Use-Case den richtigen wählen — und vermeidet die zwei häufigsten Sackgassen: Maximalismus (“wir machen alles On-Premise”) und Minimalismus (“wir nutzen einfach ChatGPT-Free, ist ja unkritisch”).

Weg 1: EU-Region-Hosting der Hyperscaler-Modelle

Anthropic Claude läuft auf AWS Frankfurt. OpenAI bietet Azure-EU-Region (Hosting in Schweden, Belgien oder Deutschland). Google Gemini hat über Vertex AI eine belgische Variante. Die drei größten westlichen LLM-Anbieter haben heute alle europäische Hosting-Optionen, ohne dass Daten in die USA müssen.

Praktisch heißt das: Sie buchen den passenden Tarif (bei Anthropic über die normale API mit Region-Flag, bei OpenAI über Azure mit gezielter Resource-Group-Konfiguration, bei Google über Vertex AI mit Standort-Setting), schließen den dazugehörigen Auftragsverarbeitungsvertrag, und Ihre Anfragen verlassen die EU nicht.

Wann passt das? Für die große Mehrheit der Mittelstand-Use-Cases. Eingangsrechnungs-Klassifikation, interner Q&A-Bot auf Sharepoint, E-Mail-Triage, Auto-Tagging von CRM-Einträgen — alles, wo Sie mit Geschäftsdaten arbeiten, die zwar vertraulich, aber nicht hochsensibel sind. Die Latenz ist oft sogar besser als bei US-Hosting (Frankfurt zu deutschem Kunden ist näher als Virginia).

Weg 2: Auftragsverarbeitungsvertrag (AVV) als rechtliche Klammer

EU-Region-Hosting allein ist nicht genug. Sie brauchen einen Auftragsverarbeitungsvertrag mit dem Anbieter, der fünf Punkte regelt: Verbot der Nutzung Ihrer Anfragen zum Modell-Training, Region-Garantie, Sub-Processor-Liste mit EU-Standardvertragsklauseln, Lösch- und Aufbewahrungsfristen, sowie Audit- und Auskunftsrechte.

Die gute Nachricht: alle drei großen Anbieter haben standardisierte AVVs. Anthropic hat einen seit 2024, im Console-Bereich downloadbar. OpenAI bietet AVVs ab dem Team-Tarif (ChatGPT Team oder API mit Enterprise-Setup). Google Cloud liefert AVVs als Teil der allgemeinen Cloud-Vertragsstruktur. Lesen Sie sie nicht blind — der Punkt “Wir nutzen Ihre Anfragen nicht zum Training” muss explizit drinstehen, nicht impliziert.

Compliance ist nicht dasselbe wie Governance. Compliance ist die Mindestpflicht (AVV abschließen, EU-Region wählen, Datenschutz-Folgenabschätzung durchführen). Governance ist die selbst gewählte Härte (welche Mitarbeitenden welche Modelle nutzen dürfen, welche Datenkategorien wo prozessiert werden, welches Logging Sie einsetzen). Wer Compliance erfüllt, ist rechtlich geschützt. Wer zusätzlich Governance baut, ist auch operativ kontrolliert. Die meisten Mittelständler verwechseln das — und haben entweder Schein-Sicherheit (Compliance ohne Governance) oder Schein-Strenge (interne Verbote ohne rechtliche Grundlage).

Weg 3: On-Premise oder Hybrid mit Open-Source-Modellen

Wenn Daten so sensibel sind, dass auch ein AVV nicht reicht — etwa Verteidigung, hochsensible Patientendaten, oder Geschäftsgeheimnisse mit explizitem No-Cloud-Mandat — bleibt nur On-Premise. Open-Source-Modelle wie Llama 3 (Meta) oder Mistral Large laufen auf eigener GPU-Hardware. Die Modell-Qualität liegt 2026 etwa auf dem Niveau von GPT-4 vom Vorjahr — gut genug für die meisten Use-Cases, aber mit höherem Wartungsaufwand.

Ein Hybrid-Ansatz kombiniert beides: Nicht-sensible Anfragen laufen über die EU-API (kostengünstig, schnell), sensible Anfragen werden lokal verarbeitet (kontrolliert, slow). Routing-Logik in Ihrer Anwendungsschicht entscheidet pro Anfrage. Das ist die pragmatische Lösung für Branchen wie Gesundheitswesen oder Banking, wo nicht alle Daten dieselbe Empfindlichkeit haben.

Wann lohnt es sich? Faustregel: ab einem mittleren sechsstelligen Token-Volumen pro Monat amortisiert sich die GPU-Hardware (ca. 30.000-80.000 € Initial, plus Strom und Wartung) unter zwei Jahren. Für Mittelständler mit kleinerem Volumen ist API mit AVV pragmatischer — auch wenn das Bauchgefühl etwas anderes sagt.

15-Punkte-Praxis-Checklist für Mittelständler

Was Sie konkret abhaken sollten, bevor das erste KI-Tool produktiv geht:

Datenebene:

Welche Datenkategorien werden verarbeitet? (Geschäftsdaten / personenbezogene Daten / besondere Kategorien nach Art. 9 DSGVO)
Sind Auftragsverarbeitungs-Beziehungen mit Subunternehmern dokumentiert?
Existiert eine Datenschutz-Folgenabschätzung (DSFA) für den Use-Case?

Anbieterebene: 4. AVV mit dem LLM-Anbieter abgeschlossen und unterschrieben (nicht nur “agreed”)? 5. EU-Region-Hosting konfiguriert und in der API-Anfrage erzwungen? 6. Sub-Processor-Liste durchgegangen, EU-Standardvertragsklauseln dabei? 7. Training-Opt-Out explizit geprüft und gesetzt?

Architekturebene: 8. Routing-Logik prüft pro Anfrage die Datenkategorie (sensibel → On-Premise / API → Hyperscaler)? 9. Logs werden geschrieben (Was wurde gefragt, wann, von wem) — und sind selbst DSGVO-konform aufbewahrt? 10. Anfragen-Historie ist im Sinne von Art. 17 DSGVO löschbar?

Mitarbeiterebene: 11. Schulung für Mitarbeitende: was darf in welche Anfrage rein, was nicht? 12. Klares Governance-Dokument: welcher Use-Case auf welchem Modell? 13. Hinweis-Konzept für Endnutzer: erkennen Externe, wenn KI-Output gezeigt wird?

Update- und Audit-Ebene: 14. Quartalsweise Re-Audit der Sub-Processor-Liste (LLM-Anbieter ändern die regelmäßig)? 15. EU-AI-Act-Inventar gepflegt? (siehe nächster Block)

Wer 12 oder mehr dieser Punkte abhaken kann, ist deutlich besser aufgestellt als 80 % der Mittelständler, die KI bereits einsetzen.

Praxisbeispiel — eine süddeutsche Steuerkanzlei

Anonymisierte Fallstudie: Eine Steuerkanzlei in Bayern mit 30 Mitarbeitenden klassifiziert eingehende Mandantendokumente. Vorher: drei Sachbearbeiterinnen verbrachten zusammen acht Stunden pro Woche damit, Schreiben von Mandanten in Kategorien zu sortieren (Steuerbescheid, Einspruch, Vollmacht, Sonstiges). Bei einem internen Stundensatz von 65 Euro waren das 27.000 Euro Personal-Aufwand pro Jahr — für eine Aufgabe, die niemand spannend fand.

Architektur-Entscheidung: Anthropic Claude Sonnet via API mit AWS-Frankfurt-Region. AVV mit Anthropic abgeschlossen, Training-Opt-Out gesetzt, Verarbeitungsschicht in eigener Infrastruktur (Vercel, Frankfurt) gehostet. Klassifikations-Prompt mit anonymisiertem Beispiel-Set kalibriert. Logs in Postgres-DB, Aufbewahrung 30 Tage, dann Auto-Lösch.

DSGVO-Setup: DSFA durchgeführt (Mandantendaten = personenbezogen, ja; besondere Kategorien nach Art. 9 = nein), Verarbeitungsverzeichnis ergänzt, Hinweis im Mandanten-Onboarding aktualisiert (“Wir setzen KI zur Vor-Klassifikation ein, finale Bewertung erfolgt durch Sachbearbeiter”). Datenschutzbeauftragter (extern) hat 2 Stunden geprüft und freigegeben.

Resultat nach 6 Monaten Betrieb: Manuelle Klassifikations-Zeit ist von 8 auf 1,5 Stunden pro Woche gesunken (Sachbearbeiterinnen prüfen die KI-Vorschläge). Klassifikations-Genauigkeit liegt bei 94 % auf den fünf häufigsten Dokumententypen. Implementierungs-Kosten waren 7.000 Euro POC plus 12.000 Euro Custom-Build mit RAG auf eigenem Mandantenstamm. Amortisation: knapp 12 Monate. Datenschutz-Audit Q2/2026 lief ohne Findings.

Was am wenigsten sichtbar, aber am meisten wertvoll war: die Sachbearbeiterinnen sind jetzt entspannter, weil die mechanische Sortier-Arbeit weg ist. Der Use-Case verkauft sich intern besser, weil die direkt Betroffenen davon profitieren.

Was der EU AI Act 2026 für KMU bedeutet

Der EU AI Act tritt 2026 schrittweise in Kraft. Für mittelständische Anwender gibt es drei zentrale Erkenntnisse:

Erstens: Die meisten Mittelstand-Use-Cases fallen in “limited risk”. Dokumenten-Klassifikation, interne Wissens-Bots, E-Mail-Triage, Auto-Tagging — das sind alles Anwendungen, die nur Transparenz-Anforderungen auslösen: Nutzer müssen wissen, dass sie mit einem KI-System interagieren oder dass ein Output KI-generiert ist. Keine Konformitätsbewertung, keine teure Re-Zertifizierung.

Zweitens: “High-risk”-Anwendungen treffen die meisten KMU nicht. High-Risk umfasst Kreditwürdigkeitsprüfung, automatisierte Personalauswahl, biometrische Identifikation, kritische Infrastruktur. Wenn Sie nicht in einer dieser Branchen aktiv sind, treffen Sie die strengen Pflichten nicht direkt. Falls doch — etwa als Zulieferer für eine Bank — gelten klare Kennzeichnungs- und Dokumentationsanforderungen, die der KI-Lieferant erfüllen muss.

Drittens: die schlanke Dokumentationspflicht ist real, aber machbar. Sie brauchen ein einseitiges Inventar der eingesetzten KI-Tools (intern und extern), eine DSFA pro Tool wenn personenbezogene Daten betroffen sind, und ein Hinweis-Konzept für Endnutzer. Das ist kein DSGVO-2.0 — das ist ein gut strukturiertes Excel-Tab.

Praktisch heißt das: Jeder Mittelständler sollte 2026 ein KI-Inventar pflegen mit den Spalten Tool / Use-Case / Datenkategorien / Anbieter / AVV-Status / Risk-Klasse / Last Reviewed. Das genügt für Audit-Vorbereitung und ist in zwei Stunden gebaut.

Die fünf häufigsten Fehler bei der Umsetzung

Compliance ohne Governance bauen. AVV ist abgeschlossen, alle Mitarbeitenden tippen aber weiterhin sensible Daten in ChatGPT-Free. Das passiert oft, wenn die Geschäftsführung “Compliance” abhakt und die operative Schulung vergisst.
Hyperscaler-Lock-In. Alles auf einen Anbieter setzen, ohne Architektur-Schicht für Modell-Wechsel. Wenn der Anbieter morgen Pricing oder AVV-Bedingungen ändert, sitzen Sie fest.
Hochsensible Daten ohne Hybrid-Pfad in die Cloud. Wer mit Daten arbeitet, die nicht in die Cloud dürfen, braucht von Anfang an einen On-Premise-Pfad — nicht als Notfall-Plan, sondern als Routing-Default für die betroffenen Datenklassen.
Fehlende Anwender-Schulung. Mitarbeitende brauchen klare Regeln: was darf rein, was nicht. Eine 30-Minuten-Schulung mit konkreten Do-and-Don’t-Beispielen verhindert 80 % der DSGVO-Vorfälle.
Audit-Logs vergessen. Wer nicht nachweisen kann, was wann gefragt wurde, hat keine Verteidigungslinie bei einer Datenschutz-Beschwerde. Logging ist Standard, nicht Optional.

Konkret werden

Wenn Sie wissen wollen, ob Ihr aktueller KI-Einsatz DSGVO-konform aufgestellt ist, ist der schnellste Weg unser AI-Readiness-Check — fünf Minuten, ohne E-Mail-Pflicht, mit konkreten Empfehlungen je nach Mittelstand-KI-Reifegrad.

Wenn Sie eine konkrete DSGVO-Architektur für einen Use-Case besprechen wollen, melden Sie sich für ein 30-Minuten-Strategiegespräch — wir prüfen die drei Wege gegen Ihre Datenkategorie und Sie wissen am Ende, welcher passt.

Kontakt aufnehmen →