Home Context & Memory Management RAG

Teilbereich

RAG

Retrieval-Augmented Generation – Generative KI mit eigenen Wissensquellen verbessern

Schema der RAG-Chain: Retrieval, Kontext und Generierung

Warum RAG?

KI-Chatbots entscheiden ohne Anleitung quasi selbst, welche Quellen sie heranziehen – Trainingsdaten und gegebenenfalls Websearch. Oft reicht dieses Wissen nicht aus oder die herangezogenen Quellen sind nicht 100 % stimmig. RAG (Retrieval-Augmented Generation) löst genau dieses Problem, indem die Antwort auf Basis eigener Wissensquellen generiert wird.

Demo-Anwendungsfall

Die folgende Demo zeigt auf extreme Weise, wie sich Antworten verändern, wenn eine spezielle Source of Truth bereitgestellt wird – in diesem Fall die Weisheit der Upanischaden. Ich finde solche Anwendungsfälle sehr interessant: Man kann auf diese Weise quasi in einen Dialog mit seinen Lieblingsbüchern treten. Natürlich gibt es darüber hinaus viele geschäftliche Use Cases, beispielsweise die Verknüpfung eines Gen-AI-Chatbots mit internen Wissensdatenbanken.

Grundlogik von RAG

RAG ist umso interessanter, je umfangreicher die Quellen sind, die man einem Sprachmodell zur Verfügung stellen möchte. Würde das LLM ohne RAG versuchen, User-Fragen auf Basis sämtlicher Quellen zu beantworten, wäre das eine sehr rechenintensive und damit teure Angelegenheit – bis hin zur Überforderung des Modells (Stichwort Context Window).

Retrieval-Augmented Generation siebt die verfügbaren Quellen deshalb zunächst nach Relevanz. Dazu wird die vektorisierte User-Frage auf Ähnlichkeit mit den bereits vektorisierten Quelltexten untersucht. Nur diese relevanten Textabschnitte werden anschließend zusammen mit der ursprünglichen User-Frage als Prompt an das LLM übergeben. Das Sprachmodell muss dadurch nicht mehr alle Dokumente verarbeiten, sondern erhält bereits den passenden Kontext und kann daraus die Antwort generieren.

Zukünftige Rolle von RAG und Ausblick

Daher wird RAG und die beschriebene Grundlogik auch in den kommenden Jahren ein wichtiges Instrument bleiben, um das endliche Context Window effizient zu managen. Gleichzeitig entwickelt sich das Thema rasant weiter und geht inzwischen weit über die reine Vektorsuche hinaus.

Für Unternehmen werden dabei insbesondere folgende Themen immer wichtiger:

RAG entwickelt sich damit zunehmend zu einer zentralen Architekturkomponente für Enterprise AI. Die eigentliche Herausforderung besteht künftig weniger darin, ein LLM anzubinden, sondern darin, hochwertige, aktuelle und vertrauenswürdige Wissensquellen intelligent verfügbar zu machen.

Quellcode (ohne Imports, Quelltext bereits vektorisiert)


# ==========================================
# 1. BEREITS EXISTIERENDE VEKTORDATENBANK LADEN
# ==========================================
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
# embeddings ist das Instrument, das Text in Vektoren umwandelt, so dass die KI ihn "versteht"
# In dieser Demo wird embeddings noch benötigt, um die User-Frage zu vektorisieren
# Es wird bereitgestellt durch die Klasse OpenAIEmbeddings und dessen Modell "text-embedding-3-small"

vectorstore = Chroma(
    persist_directory="./chroma_db",
    embedding_function=embeddings
)
# Die Upanischaden wurden bereits vektorisiert und in einer Chroma DB vorgehalten

retriever = vectorstore.as_retriever(search_kwargs={"k": 3})
# retriever ist das Instrument, das die relevanten Passagen aus der Vektordatenbank sucht
# hier die Top 3 Passagen ("Keyword Arguments")

# ==========================================
# 2. LLM, PROMPT & LCEL RAG-CHAIN EINRICHTEN
# ==========================================
llm = ChatOpenAI(model="gpt-4o-mini", temperature=0.5)

prompt = ChatPromptTemplate.from_template(
    "Du bist ein hinduistischer Gelehrter. Beantworte die Frage NUR basierend "
    "auf den Upanischaden, die im Folgenden bereitgestellt werden:\n\n"
    "Kontext:\n{context}\n\n"
    "Frage: {question}"
)

# Hilfsfunktion: Wandelt die gefundenen Dokumente in einen Textblock um
def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

# LCEL Pipeline (Retriever -> Prompt -> LLM -> String Output)
rag_chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

# ==========================================
# 3. DYNAMISCHE USER-EINGABE / API-FUNKTION
# ==========================================
def frage_beantworten(user_frage: str) -> str:
    """Nimmt eine beliebige Frage entgegen und gibt direkt den fertigen Text zurück."""
    return rag_chain.invoke(user_frage)

# Beispiel-Aufruf
if __name__ == "__main__":
    antwort = frage_beantworten("Gibt es einen Gott?")
    print(antwort)

Zurück zu Context & Memory Management Zurück zur Home