Retrieval-Augmented Generation (RAG) bezeichnet eine Technik, bei der große Sprachmodelle mit externem Wissen angereichert werden. Anstatt sich nur auf ihr im Training erworbenes „parametrisches“ Wissen zu verlassen, holen LLMs sich dabei gezielt zusätzliche Informationen aus Datenbanken, Dokumentensammlungen oder dem Web. Die Idee wurde 2020 von Forschern um Patrick Lewis (damals Facebook AI) vorgestellt, die den Begriff RAG prägten. Das Konzept ermöglichte es früh, KI-Modelle aktuell und domänenspezifisch zu machen, ohne sie jedes Mal neu trainieren zu müssen. Doch wie steht es heute um RAG? In diesem Beitrag beleuchten wir, wie RAG funktioniert, warum es einst unverzichtbar war, und welche Entwicklungen dazu führen, dass RAG inzwischen an zentraler Bedeutung verloren hat.

Wie RAG funktioniert: LLMs mit externem Wissen füttern

Ein RAG-System besteht typischerweise aus drei Komponenten: Retriever, Augmenter und Generator. Zuerst durchsucht ein Retriever (z.B. eine Vektor-Datenbank oder ein Suchindex) eine große Wissensbasis nach den passendsten Dokumenten zur Nutzerfrage. Dann werden diese Fundstücke als Kontext an die Eingabe angehängt (Augmentierung). Schließlich erzeugt der Generator,  das Large Language Model selbst, die Antwort, wobei es sowohl sein internes Wissen als auch die zugespielten externen Informationen nutzt. Dieses Prinzip ähnelt einem Gerichtsverfahren: Das LLM ist der „Richter“ mit allgemeinem Verständnis, der Retriever fungiert als „Gerichtsdiener“, der gezielt in der Bibliothek nach präzedenzfällen oder spezifischen Fakten sucht.

Das Retrievial-Augmentations-Prinzip war ein eleganter Weg, um die frühen Einschränkungen von LLMs zu umgehen. Frühere Modelle hatten winzige Kontextfenster: GPT-1 konnte z.B. nur ~512 Token auf einmal verarbeiten. Wissen aus längeren Texten oder großen Datenbeständen konnte nicht direkt in die Anfrage gepackt werden, da die Modelle blind für Informationen jenseits ihrer Kontextgröße waren. RAG löste dieses Problem, indem es den Modellen erlaubte „on demand“ nachzuschlagen: Statt das gesamte Wissen in den Prompt zu packen, wurden nur die relevantesten Ausschnitte hineingeschoben. Die ursprüngliche RAG-Publikation von 2020 bezeichnete das Verfahren als „general-purpose fine-tuning recipe“, weil man damit praktisch jedes vortrainierte LLM mit beliebigen externen Ressourcen verbinden kann.

Beispiel: Ein generatives KI-Modell, das medizinische Fragen beantwortet, könnte per RAG an eine Datenbank medizinischer Fachartikel angeschlossen werden. Fragt ein Nutzer nach einer seltenen Diagnose, holt der Retriever passende Publikationen heraus, hängt sie dem Prompt an, und das LLM formuliert daraufhin eine fundierte Antwort mit konkreten Referenzen. So kann das Modell Informationen liefern, die über sein Trainingswissen hinausgehen, und diese sogar mit Quellenangaben untermauern, ein großer Vorteil zur Vertrauensbildung.