RAG (Retrieval-Augmented Generation) und Fine-Tuning adressieren grundlegend verschiedene Schwächen von Large Language Models: Während RAG dem Modell zur Inferenzzeit externe, aktuelle Dokumente als Kontext bereitstellt, verändert Fine-Tuning die Gewichte des Modells selbst durch weiteres Training auf domänenspezifischen Daten. RAG eignet sich besonders dort, wo sich Wissen häufig ändert oder wo Quellennachvollziehbarkeit gefordert ist – etwa bei internen Wissensdatenbanken, Support-Systemen oder rechtlich sensiblen Anwendungen. Fine-Tuning hingegen ist dann sinnvoll, wenn das Modell einen bestimmten Stil, ein spezifisches Format oder domänenspezifische Sprachkonventionen konsistent anwenden soll, die sich nicht einfach per Prompt erzwingen lassen. Ein häufiger Irrtum ist der Einsatz von Fine-Tuning zur Wissenserweiterung: Modelle, die auf Fakten „nachtrainiert" werden, neigen zu Halluzinationen, wenn diese Fakten nicht dicht genug im Trainingssignal verankert sind. Kombinierte Ansätze – RAG über einem fine-getunten Modell – können in der Praxis sinnvoll sein, erhöhen aber Komplexität und Betriebskosten erheblich. Der Artikel positioniert die Entscheidung damit nicht als technisches Entweder-Oder, sondern als Diagnosefrage: Liegt das Problem im fehlenden Wissen zur Laufzeit, oder im falschen Verhalten des Modells?