Der zweite Teil unserer Serie über moderne Retrieval-Augmented Generation (RAG)-Systeme.
Im vorherigen Beitrag habe ich geschrieben, dass RAG hauptsächlich ein Retrieval-Problem ist. Bevor das LLM eine nützliche Antwort generieren kann, muss das System die richtigen Informationen finden.
Die grundlegendste Retrieval-Technik ist die Keyword-Suche.
Und obwohl viele Menschen heutzutage hauptsächlich über Embeddings und Vektordatenbanken sprechen, ist die Keyword-Suche nach wie vor äußerst wichtig.
Besonders in technischen Systemen.
Die Keyword-Suche funktioniert, indem sie die genauen Wörter der Anfrage mit den genauen Wörtern in den Dokumenten abgleicht. Dokumente werden in einem Index gespeichert. Wenn der Nutzer nach etwas sucht, findet die Suchmaschine schnell Dokumente, die dieselben Begriffe enthalten.
Zum Beispiel:
F217 gripper replacement Eine Keyword-Suchmaschine kann schnell Dokumente finden, die diese genauen Wörter enthalten.
Das ist nützlich, weil technische Systeme oft von exakten Bezeichnern abhängen.
Fehlercodes sind wichtig.
Teilenummern sind wichtig.
Maschinenvarianten sind wichtig.
Software-Versionen sind wichtig.
Wenn der Nutzer fragt nach:
F217 dann ist ein Dokument über:
F217 nicht gut genug.
Die Nummern sehen ähnlich aus, können aber völlig unterschiedliche Probleme beschreiben. Hier liegt die Stärke der Keyword-Suche. Sie versucht nicht, die Bedeutung zu erraten. Sie gleicht ab, was geschrieben steht. Einer der gängigsten Ranking-Algorithmen für die Keyword-Suche ist BM25.
BM25 bewertet, wie relevant ein Dokument für eine Anfrage ist. Es basiert auf drei wichtigen Konzepten.
Erstens: Termhäufigkeit.
Wenn ein Suchbegriff in einem Dokument vorkommt, könnte das Dokument relevant sein. Wenn er mehrfach vorkommt, könnte es noch relevanter sein. Aber BM25 belohnt Wiederholungen nicht endlos. Ein Dokument, das das Wort „Servo" 100-mal wiederholt, ist nicht automatisch 100-mal besser.
Zweitens: Inverse Dokumenthäufigkeit.
Seltene Wörter sind wichtiger als häufige Wörter. Das Wort „Maschine" kommt möglicherweise in fast jedem Dokument vor. Es ist nicht sehr spezifisch. Aber ein Fehlercode wie „F217" kommt vielleicht nur in wenigen Dokumenten vor. Das macht ihn deutlich aussagekräftiger.
Drittens: Normalisierung der Dokumentlänge.
Lange Dokumente enthalten naturgemäß mehr Wörter. Ohne Normalisierung würden lange Dokumente oft zu weit oben ranken, weil sie einfach viele Begriffe enthalten. BM25 korrigiert dies. Eine kurze, präzise Service-Notiz kann ein langes, generisches Handbuch übertreffen.
Deshalb ist BM25 nach wie vor nützlich.
Es ist einfach, schnell und sehr effektiv, wenn exakte Begriffe wichtig sind.
In einem RAG-System kann BM25 als erster starker Retrieval-Schritt eingesetzt werden. Es kann den Suchraum schnell einengen und sicherstellen, dass exakte Bezeichner nicht verloren gehen.
Aber die Keyword-Suche hat eine Einschränkung.
Nutzer verwenden nicht immer dieselben Wörter wie die Dokumente.
Ein Nutzer könnte sagen:
gripper replacement während das Handbuch sagt:
handling unit replacementEine reine Keyword-Suche könnte diese Verbindung verpassen.
Hier wird die Vektorsuche nützlich.
Im nächsten Beitrag werden wir die grundlegenden Funktionsprinzipien der Vektorsuche betrachten und erklären, warum semantische Ähnlichkeit zu einem so wichtigen Bestandteil moderner RAG-Systeme geworden ist.
