Der dritte Teil unserer Serie über moderne Retrieval-Augmented Generation (RAG)-Systeme.
Im vorherigen Beitrag habe ich erklärt, warum Keyword-Suche und BM25 nach wie vor wichtig sind. Sie sind stark, wenn die Anfrage exakte Begriffe wie Fehlercodes, Teilenummern oder Maschinennamen enthält.
Aber exaktes Matching reicht nicht aus, wenn Nutzer und Dokumente unterschiedliche Formulierungen verwenden. Genau dort wird die Vektorsuche nützlich – und das ist einer der Gründe, warum sie in RAG-Systemen so wichtig geworden ist.
Die Vektorsuche funktioniert anders als die Keyword-Suche. Anstatt exakte Wörter abzugleichen, versucht sie, Bedeutung abzugleichen.
Das System verwendet ein Embedding-Modell, um Text in einen Vektor zu konvertieren.
Beispielsweise wird die Anfrage:
query = "machine stops after gripper replacement" in etwa Folgendes umgewandelt:
query_vector = [0.21, 0.54, 0.10, ...] Dokumente werden ebenfalls in Vektoren konvertiert.
Anschließend vergleicht das System den Anfrage-Vektor mit den Dokumentvektoren und findet die ähnlichsten.
Eine gängige Methode zum Vergleichen von Vektoren ist die Kosinus-Ähnlichkeit. Die Idee besteht darin, den Winkel zwischen zwei Vektoren zu messen. Wenn zwei Vektoren in eine ähnliche Richtung zeigen, gelten die Texte als semantisch ähnlich.
Damit kann das System Dokumente finden, die nicht dieselben genauen Wörter verwenden, aber dennoch über etwas Ähnliches sprechen.
Stellen Sie sich zum Beispiel diese zwei Dokumente vor:
Document 1:
The machine stops with servo alarm F217 after the gripper module was replaced.
Document 2:
After replacing the handling unit, recalibrate the servo end positions. Die Keyword-Suche könnte Dokument 2 verpassen, wenn die Anfrage „gripper" enthält, das Dokument aber „handling unit" verwendet.
Die Vektorsuche könnte es dennoch finden, weil die Bedeutung ähnlich ist.
Das ist sehr nützlich.
Es hilft, wenn Dokumente Synonyme, unterschiedliche Terminologie, Abkürzungen oder leicht abweichende Formulierungen verwenden.
In realen Unternehmens-Wissensdatenbanken passiert das ständig.
Dieselbe Sache kann in einem Service-Ticket, einem Handbuch, einer Meeting-Notiz und einer Produktspezifikation unterschiedlich bezeichnet werden.
Die Vektorsuche hilft, diese Stücke zu verbinden.
Aber sie hat auch eine Schwäche.
Sie kann manchmal zu unscharf sein.
Sie versteht Ähnlichkeit, aber technische Systeme erfordern oft Exaktheit.
Zum Beispiel:
F217
F271
F127 Diese sehen als Text ähnlich aus. Sie könnten alle als Servo-Alarmcodes verstanden werden. Aber sie beschreiben möglicherweise völlig unterschiedliche Probleme.
Dasselbe gilt für:
machine variant A
machine variant B
software version 2.1
software version 2.2
part number 700-1842
part number 700-1843 Bei technischen Abfragen können kleine Unterschiede die Antwort vollständig verändern.
Deshalb ist die Vektorsuche allein nicht ausreichend.
Sie ist hervorragend für semantischen Recall. Sie findet verwandte Konzepte und ähnliche Bedeutungen.
Aber sie sollte nicht die einzige Retrieval-Methode sein, wenn exakte Bezeichner wichtig sind.
Die praktische Lösung ist nicht Keyword-Suche oder Vektorsuche.
Die praktische Lösung ist meist beides.
Das führt uns zur Hybridsuche.
Zusammenfassend: Die Vektorsuche ist leistungsstark, weil sie Bedeutung finden kann, nicht nur Wörter. Sie hilft, wenn die Anfrage „gripper" sagt, das Dokument aber „handling unit".
Aber diese Flexibilität birgt auch ein Risiko. In technischen Systemen bedeutet ähnlich nicht immer korrekt. Im nächsten Beitrag werde ich erklären, warum die Vektorsuche allein in realen RAG-Systemen versagen kann.
