„Ich habe einfach keine Zeit, mir alle unsere Protokolle durchzulesen.“
„Kein Problem, dann frag sie doch einfach?“
„Wen, die Protokolle?“ – „Ja.“
So oder so ähnlich klingt das Heilsversprechen der Technologie, die unter dem Namen RAG (Retrieval Augmented Generation) derzeit in vielen Unternehmen Einzug hält. Aber auch im akademischen Bereich gewinnt RAG zunehmend an Bedeutung. Denn genau darum geht es: Die eigenen Dokumente effizienter zu durchsuchen – mit Hilfe von Sprachmodellen (Large Language Models). Man könnte sagen, man „chattet“ mit seinen Dokumenten.
Zu diesem Thema fand am 16. Mai unter der Leitung des SCDH in der ULB ein Hands-on-Workshop statt. Die Teilnehmenden brachten ganz unterschiedliche Anforderungen an ein RAG-System mit. Auch die Dokumententypen waren vielseitig. Was sie alle verband, war der Wunsch, mehr zu lernen und eine eigene RAG-Pipeline zu entwickeln.
Der Workshop startete daher mit einer einfachen Tutorial-Aufgabe: Mit vorgefertigten Tools sollte eine kleine, einfache Pipeline aufgebaut werden.
Und schnell befand man sich wieder mitten in der Welt der Softwareentwicklung – dort, wo selten alles reibungslos funktioniert. Schließlich sollte ein großes LLM angebunden werden. Solche Modelle laufen jedoch nicht auf dem eigenen Rechner, sondern im Rechenzentrum. Daher musste uniGPT in die Pipeline integriert werden. Plötzlich tauchten neue Fragestellungen auf: Was sind eigentlich Embeddings? Brauchen wir die? Wie teilt man Dokumente sinnvoll in semantische Einheiten? Wie können wir sicherstellen, dass wir das bestmögliche Suchergebnis erzielen?
Eine typische RAG-Pipeline besteht aus mehreren Bausteinen: Zunächst werden die zu durchsuchenden Dokumente in kleinere, sinnvolle Einheiten (Chunks) aufgeteilt. Anschließend werden sogenannte Embeddings erzeugt – das heißt, die Texte werden in Vektoren umgewandelt, sodass ihre Bedeutung rechnerisch erfasst werden kann. Dann folgt die Indexierung dieser Embeddings in einer Datenbank, die schnelles Suchen ermöglicht. Wenn eine Frage gestellt wird, durchsucht ein Retriever die Datenbank nach passenden Dokumenten oder Textstücken und wählt die relevantesten aus. Abschließend nutzt ein Sprachmodell (LLM) diese Informationen, um eine präzise Antwort zu generieren. Diese Bausteine sorgen zusammen dafür, dass nicht das gesamte Dokument, sondern nur das Wichtigste für die gestellte Frage herangezogen wird.
Bald kamen Dutzende weiterer Fragen auf, und die Teilnehmenden begannen, sich in verschiedene Themen einzuarbeiten, um ihren individuellen Fragestellungen nachzugehen. Doch wie so oft reichte die Zeit am Ende nicht aus. Es war klar: Ein weiterer Workshop ist nötig. Und genau dieser ist bereits in Planung. Denn eines steht fest: Das Thema RAG wird so schnell nicht wieder verschwinden.
Schreibe einen Kommentar