RAG oder Fine-Tuning? Entscheidungshilfe für Unternehmen

Kurzantwort: Soll die KI mit Ihrem eigenen Wissen antworten, ist RAG meist der richtige erste Schritt: Das System sucht zur Laufzeit passende Dokumente heraus und gibt sie dem Modell mit. Fine-Tuning verändert dagegen das Verhalten eines Modells, zum Beispiel Ausgabeformat, Ton oder eine feste Aufgabe, und eignet sich schlecht als Wissensspeicher. Prüfen Sie vorher, ob gute Systemanweisungen und eine Werkzeuganbindung für Live-Daten schon genügen. Eine Kombination lohnt sich erst, wenn ein Test zeigt, was RAG allein nicht löst.

Ein typischer Anlass: Das Service-Team eines Maschinenbauers möchte, dass eine KI Fragen zu Wartungsanleitungen und Störungsmeldungen beantwortet. Jemand schlägt vor, das Modell mit den Handbüchern zu trainieren. Das klingt naheliegend, beantwortet aber eine andere Frage als die, die Sie haben. Wie RAG aufgebaut ist, beschreibt der Beitrag RAG im Unternehmen. Dieser Artikel hilft bei der Entscheidung davor.

Was ändert RAG, und was ändert Fine-Tuning?

Ein Sprachmodell trägt Wissen in seinen Parametern. Das Paper von Lewis et al. zu Retrieval-Augmented Generation nennt das parametrischen Speicher und stellt ihm einen nicht parametrischen Speicher zur Seite, im Paper ein durchsuchbarer Index über Wikipedia. Eine Suche greift darauf zu, und das Modell formuliert die Antwort mit dem Fund. In der Praxis heißt das: RAG ändert, was dem Modell bei einer einzelnen Anfrage vorliegt.

Fine-Tuning arbeitet am anderen Ende. OpenAI beschreibt es als Training mit Beispielen korrekter Antworten, das die Gewichte des Modells anpasst. Als passende Aufgaben nennt die Dokumentation unter anderem Klassifikation, Inhalte in einem bestimmten Format und das Beheben von Fehlern bei der Befolgung von Anweisungen.

Diese Trennung zieht auch OpenAI im Leitfaden Optimizing LLM Accuracy:

• Fehlt dem Modell Wissen, weil es nicht in seinen Trainingsdaten stand, ist Kontextoptimierung gefragt, zum Beispiel RAG.
• Ist das Verhalten das Problem, etwa ein uneinheitliches Format oder Regeln, die nicht konsequent befolgt werden, ist Modelloptimierung gefragt, zum Beispiel Fine-Tuning.

Beide Wege lassen sich laut OpenAI ergänzen. Welcher davon Ihr Problem trifft, zeigt erst eine Fehleranalyse.

Reichen gute Systemanweisungen und Werkzeuganbindung?

Oft ja, zumindest für den Anfang. OpenAI nennt Prompt Engineering in der Regel den besten Einstieg, Googles Cloud-Dokumentation empfiehlt ebenfalls, mit Prompting zu beginnen und erst bei Bedarf zu tunen. Als Reihenfolge bietet sich an:

1. Systemanweisung: Rolle, Tonfall, Ausgabeformat und Regeln wie „Antworte nur aus den gelieferten Quellen, sonst melde fehlendes Wissen“. Das reicht, wenn das nötige Wissen klein ist, etwa eine Richtlinie, die Sie jeder Anfrage mitgeben.
2. Werkzeuganbindung: Für Live-Daten wie Bestand, Auftragsstatus oder Preise. Anthropic beschreibt, dass das Modell einen strukturierten Aufruf liefert und Ihre Anwendung ihn ausführt. Die Abfrage samt Berechtigungsprüfung bleibt damit in Ihrer Software.
3. RAG: Wenn Wissen als Text in vielen Dokumenten steckt, sich ändert und belegt werden soll.
4. Fine-Tuning: Wenn nach den ersten drei Schritten ein Verhaltensproblem messbar bleibt.

Die Architekturwege im Überblick, von der direkten API bis zu Agenten, beschreibt der Beitrag zur LLM-Integration in Unternehmenssoftware.

Wie bleiben Antworten aktuell und mit Quelle belegbar?

Aktualität: Bei RAG ändern Sie den Dokumentbestand, das Modell bleibt gleich. Eine neue Version des Handbuchs wirkt, sobald sie im Index steht, und eine gelöschte Seite verschwindet, sobald ihr Eintrag aus Index und Zwischenspeichern entfernt ist. Bei Fine-Tuning entspricht das Wissen dem Stand des letzten Trainingslaufs. Eine Änderung braucht neue Trainingsbeispiele, einen neuen Lauf und eine neue Prüfung. Das Paper von 2020 nennt das Aktualisieren von Wissen und die Herkunftsangabe für Entscheidungen ausdrücklich als offene Forschungsprobleme von Modellen, die Wissen nur in ihren Parametern tragen.

Quellenangabe: Bei RAG ist bekannt, welche Textstellen in die Antwort eingeflossen sind, also lassen sie sich anzeigen. Anthropic bietet dafür eine Citations-Funktion: Die API liefert die zitierte Textstelle als Verweis auf die übergebenen Dokumente. Ein Verweis zeigt aber nur, woher eine Aussage stammt. Ob die Antwort die Stelle richtig wiedergibt, prüft Ihr Testset, nicht die Zitierfunktion.

Geht es ohne Training auf unseren Daten? Rechte und Datenschutz

Hinter dieser Frage stecken zwei verschiedene Dinge, die Sie getrennt klären sollten.

Erstens: Nutzt der Anbieter Ihre Eingaben, um seine eigenen Modelle zu verbessern? OpenAI schreibt, dass über die API gesendete Daten standardmäßig nicht dafür verwendet werden, es sei denn, Sie stimmen ausdrücklich zu. Dort steht auch, dass Protokolle zur Missbrauchserkennung standardmäßig bis zu 30 Tage aufbewahrt werden. Bei jedem anderen Anbieter prüfen Sie dieselben Punkte in Vertrag und Bedingungen.

Zweitens: Trainieren Sie selbst ein Modell mit Ihren Dokumenten? Für Unternehmenswissen ist das bei RAG nicht nötig. Die Unterschiede im Datenweg:

• Abruf (RAG): Die Dokumente bleiben in Ihrem Bestand. Ein Zugriffsfilter entscheidet vor der Antwort, welche Stellen der fragende Mensch sehen darf. Eine Löschung bedeutet, den Eintrag aus Index, Zwischenspeichern und Protokollen zu entfernen.
• Training (Fine-Tuning): Die Beispiele wandern in eine Trainingsumgebung. Bei OpenAI bleiben hochgeladene Trainingsdateien bis zur Löschung gespeichert. Der Inhalt wirkt danach über die Gewichte, und ein Modell kennt die Rechte einzelner Nutzer nicht. Es antwortet allen gleich. Löschwünsche einzelner Personen sind bei einem trainierten Modell schwerer umzusetzen als bei einem Index und gehören vorab mit dem Datenschutzbeauftragten geklärt.

Für beide Wege gelten dieselben Bedingungen: Auftragsverarbeitungsvertrag, Datenklassen, Speicherort, Löschkonzept, Betroffenenrechte und die Frage, ob eine Datenschutz-Folgenabschätzung nötig ist. Die Bewertung liegt bei Ihrem Unternehmen und Ihrem Datenschutzbeauftragten, wir geben keine Rechtsberatung. Prüfschritte finden Sie im Beitrag zu den Datenschutz-Prüfschritten bei KI-Integration. Besonders wichtig ist die Unterscheidung dort, wo Mandanten- oder Kundendaten besonders geschützt sind, zum Beispiel in Steuerkanzleien.

Was kosten Aufwand und Pflege bei beiden Wegen?

Preise nennen wir hier nicht, denn sie hängen von Dokumentmenge, Änderungsrate, Anfragevolumen und Anbieterpreisen ab. Die Kostentreiber unterscheiden sich aber deutlich:

Faktor	RAG	Fine-Tuning
Vorarbeit	Quellen auswählen, Verantwortliche benennen, Dubletten bereinigen	Trainingsbeispiele erstellen und fachlich prüfen. OpenAI empfiehlt, mit 50 sorgfältig erstellten Beispielen zu starten, Google nennt als Richtwert 100 Beispiele oder mehr und betont Qualität vor Menge
Technik	Suche, Synchronisation, Rechtefilter	Trainingslauf, Test, Bereitstellung des angepassten Modells
Pflege	Quellen aktuell halten, Testset bei jeder Änderung erneut laufen lassen	Neue Beispiele und neuer Lauf, wenn sich Verhalten oder Basismodell ändern
Abhängigkeit	Wissen bleibt in Ihrem Bestand, auch wenn Sie das Sprachmodell wechseln. Prompts und Tests laufen dann neu	Das angepasste Modell hängt am Basismodell des Anbieters

Der letzte Punkt ist aktuell konkret: OpenAI schreibt in seiner Fine-Tuning-Dokumentation, die Fine-Tuning-Plattform laufe aus und sei für neue Nutzer nicht mehr zugänglich. Fertig angepasste Modelle bleiben laut Dokumentation bis zur Abkündigung ihres Basismodells nutzbar. Fine-Tuning bei einem Anbieter ist also eine Abhängigkeit, die Sie vor dem Start bewerten sollten. Zu den Faktoren eines KI-Projekts insgesamt lesen Sie KI-Projektkosten im Mittelstand.

Entscheidungstabelle: Welche Methode für welche Aufgabe?

Situation	Erster Kandidat	Was Sie prüfen
Antworten aus Handbüchern, Richtlinien, Verträgen	RAG	Wer verantwortet die Quellen, wie aktuell sind sie?
Antwort muss die Quelle nennen	RAG, ggf. mit Zitierfunktion	Öffnet ein Mensch die Quelle und findet die Aussage?
Inhalte ändern sich oft	RAG	Wie schnell muss eine Änderung wirken, auch eine Löschung?
Nutzer haben unterschiedliche Rechte	RAG mit Rechtefilter	Rollentest mit einer Person ohne Zugriff
Live-Daten wie Bestand oder Auftragsstatus	Werkzeuganbindung	Darf die Abfrage für diese Person ausgeführt werden?
Kleine, stabile Wissensmenge	Systemanweisung mit Dokument im Kontext	Reicht der Kontext, bleibt die Pflege überschaubar?
Festes Ausgabeformat, Ton oder Klassifikation, die der Prompt nicht stabil trifft	Fine-Tuning prüfen, erst nach Test	Gibt es eine Baseline und genug geprüfte Beispiele?
RAG liefert die richtige Quelle, die Form stimmt trotzdem nicht	Kombination prüfen	Verbessert Fine-Tuning das Testset messbar?

Typische Fehlentscheidungen und Warnsignale

1. Dokumente „einlernen“ wollen. Warnsignal ist der Satz „Wir trainieren das Modell mit unserem Handbuch“. Wissen im Modell lässt sich nicht wie ein Dokument belegen oder einzeln aktualisieren.
2. Fine-Tuning ohne Baseline. OpenAI empfiehlt, zuerst Prompt und Testfragen aufzusetzen. Sonst wissen Sie nicht, ob das angepasste Modell besser ist als das Ausgangsmodell.
3. RAG ohne Testset. „Sieht gut aus“ bei zehn Stichproben ist keine Abnahme.
4. Beides zu früh kombinieren. In einem Fallbeispiel in OpenAIs Leitfaden verschlechterte RAG-Kontext die Genauigkeit eines feinabgestimmten Modells.
5. Rechte per Anweisung regeln. „Zeige nur Dokumente der Abteilung X“ im Prompt ersetzt keinen Filter vor der Antwort. Mehr dazu im Beitrag SharePoint und Confluence an die KI anbinden.

Fiktives Beispiel und Testweg: Service-Assistent eines Maschinenbauers

Fiktives Beispiel, kein Kundenprojekt. Annahmen: Das Service-Team nutzt Wartungshandbücher als PDF und Wiki-Seiten. Handbücher ändern sich mit neuen Produktversionen. Nicht jeder darf alle Kundenprojekte sehen. Die Antwort soll als Textbaustein für das Ticket kommen: Ursache, Maßnahme, Quelle.

1. Testset bauen. Angenommen 40 anonymisierte reale Fragen, je mit zulässiger Quelle und erwarteten Kernaussagen, dazu Fragen ohne Antwort im Bestand und je eine mit veralteter Quelle.
2. Baseline messen. Systemanweisung mit Formatvorgabe, noch ohne Dokumente. Das Ergebnis zeigt, welche Wissenslücken wirklich bestehen.
3. RAG aufsetzen und getrennt prüfen. Wurde die richtige Stelle gefunden? Ist die Antwort durch diese Stelle gedeckt? Wird bei fehlendem Wissen abgelehnt?
4. Fehler zuordnen. Fehlt oder irrt die Quelle, verbessern Sie Aufbereitung und Suche, Training hilft hier nicht. Stimmt die Quelle und nur die Form nicht, schärfen Sie zuerst Anweisung und Beispiele im Prompt. Bleibt der Fehler messbar, wird Fine-Tuning mit freigegebenen Tickets als Beispielen zum Kandidaten.
5. Entscheidung festhalten. Welche Methode trägt, welche bleibt optional, was wird bei jeder Änderung erneut getestet.

In diesem Beispiel wäre RAG die tragende Methode. Fine-Tuning bliebe ein möglicher Baustein für das feste Antwortformat.

Abnahmekriterien vor dem Echtbetrieb:

• Jede Antwort verweist auf eine Quelle, die ein Mensch öffnen kann.
• Fragen ohne Wissen im Bestand werden abgelehnt oder an einen Menschen übergeben.
• Geänderte und gelöschte Dokumente wirken innerhalb der vorab vereinbarten Zeit.
• Eine Testperson ohne Berechtigung erhält keine Inhalte aus gesperrten Quellen.
• Das Testset läuft bei jeder Änderung an Daten, Suche, Prompt oder Modell erneut.

Die Entscheidung in einem Satz

Starten Sie für das Wissen mit Systemanweisung, Werkzeuganbindung und RAG, messen Sie mit einem festen Testset und prüfen Sie Fine-Tuning nur für ein Verhaltensproblem, das danach messbar übrig bleibt.

Wenn Sie wissen möchten, welche Methode für Ihren Prozess trägt, hilft der bezahlte Discovery-Sprint bei NLD. Er kostet 4.900 € netto und dauert 5 Arbeitstage. Er liefert eine Live-Demo, eine Bewertung und eine Entscheidungsempfehlung, ein produktiver Build ist optional. Den Leistungsrahmen beschreibt die Seite zur KI-Integration in Mannheim. Ihre Frage RAG oder Fine-Tuning mit Simon besprechen.