Im vorherigen Beitrag habe ich erklärt, wie die Vektorsuche funktioniert und warum Embeddings nützlich sind.

Sie helfen uns, Dokumente zu finden, selbst wenn die Formulierung abweicht. Sie können „gripper module" mit „handling unit" verbinden. Sie können semantisch verwandte Informationen aus Handbüchern, Tickets, Berichten und interner Dokumentation finden.

Aber die Vektorsuche allein reicht für ein zuverlässiges RAG nicht aus.

Besonders nicht in technischen Domänen.

Der Grund ist einfach: Bedeutung allein reicht manchmal nicht.

Manchmal ist Exaktheit wichtiger.

Stellen Sie sich vor, ein Nutzer fragt nach:

F217 

Ein Vektorsuchsystem könnte verstehen, dass dies ein Alarmcode ist. Es könnte Dokumente über andere Alarmcodes abrufen, weil diese semantisch ähnlich sind.

Aber ein Dokument über:

F271

könnte für die Frage völlig falsch sein.

Dasselbe Problem tritt bei Teilenummern auf:

700-1842 
700-1843 

Oder bei Software-Versionen:

2.1 
2.2 

Oder bei Maschinenvarianten:

AX-340 
AX-360 

Für einen menschlichen Leser sind diese Unterschiede offensichtlich.

Für ein Vektormodell sind sie möglicherweise nicht immer stark genug. Das Modell könnte sich auf die umgebende Bedeutung konzentrieren und die Bezeichner als verwandte Details behandeln.

In vielen geschäftlichen und industriellen Systemen kann dies zu falschen Antworten führen.

Ein RAG-System, das den falschen Alarmcode, die falsche Teilenummer oder die falsche Maschinenvariante abruft, kann eine Antwort generieren, die korrekt klingt, aber auf falschen Belegen basiert.

Das ist eines der größten Risiken bei RAG. Die Antwort kann flüssig, überzeugend und trotzdem falsch sein. Deshalb ist die Keyword-Suche nach wie vor wichtig.

Die Keyword-Suche ist stark, wenn exakte Begriffe wichtig sind. Die Vektorsuche ist stark, wenn Bedeutung wichtig ist. Anstatt sich für eine Methode zu entscheiden, kombinieren moderne RAG-Systeme daher oft beide.

Das nennt man Hybridsuche.

‍

‍

Ein Hybridsuchsystem kann BM25 oder eine andere Keyword-Suchmethode verwenden, um exakte Treffer zu finden. Gleichzeitig kann es die Vektorsuche nutzen, um semantisch ähnliche Dokumente zu finden.

Damit erhält das System zwei unterschiedliche Sichtweisen auf die Dokumentensammlung.

Die Keyword-Suche fragt:

Which documents contain the exact terms?

Die Vektorsuche fragt:

Which documents are semantically close to the query? 

Zusammen sind sie stärker als jede Methode für sich allein.

Bei einer Anfrage wie:

machine stops with servo alarm F217 after gripper replacement

hilft die Keyword-Suche dabei, den exakten Alarmcode F217 zu erhalten.

Die Vektorsuche hilft, verwandte Dokumente zu finden, die über den Austausch der Handling-Einheit, die Neukalibrierung von Servo-Positionen oder die Überprüfung der Greifer-Achse sprechen.

Diese Kombination verbessert sowohl Precision als auch Recall.

Aber es gibt noch ein weiteres Problem.

Keyword-Suche und Vektorsuche liefern unterschiedliche Ranglisten. Ihre Scores sind nicht direkt vergleichbar.

BM25-Scores und Vektorähnlichkeits-Scores bewegen sich auf unterschiedlichen Skalen.

Wir können also nicht einfach die Ergebnisse zusammenführen und auf das Beste hoffen.

Wir brauchen eine Methode, um die Rankings zu fusionieren.

Eine einfache und effektive Methode ist Reciprocal Rank Fusion.

Zusammenfassend: Die Vektorsuche ist nützlich, sollte aber nicht die einzige Retrieval-Methode sein, wenn exakte Bezeichner wichtig sind. Die Keyword-Suche liefert Precision. Die Vektorsuche liefert semantischen Recall.

Die praktische Lösung besteht meist darin, beide zu kombinieren. Im nächsten Beitrag werde ich Hybridsuche erklären und zeigen, wie Reciprocal Rank Fusion Keyword- und Vektorergebnisse zusammenführen kann.