Die Unternehmenssuche wird anhand von Unterstützung, Nachvollziehbarkeit und Korrektheit unter realen Betriebsbedingungen bewertet. Große Sprachmodelle können plausible Texte, flüssige Zusammenfassungen und überzeugende Antworten liefern. Fließende Ausgaben können jedoch den Rahmen der Unterstützung überschreiten, die von einer Unternehmenssuche erwartet wird. Das Problem wird sichtbar, sobald ein Suchsystem von der Demo-Phase in den Produktivbetrieb übergeht.
Öffentliche Benchmarks und Open-Web-Aufgaben ermöglichen es einem Modell, sich auf breit gefasste statistische Muster aus den Trainingsdaten zu stützen. Interne Quellen unterscheiden sich davon, da sie unvollständig, uneinheitlich strukturiert, zugangsbeschränkt und vollerrichtlinienbedingter Einschränkungen sind. Eine Abteilung sieht einen Vertragsnachtrag, den eine andere Abteilung nicht einsehen kann. Ein Index ist aktuell, während ein anderer drei Wochen hinterherhinkt. Eine Richtlinienseite ersetzt eine ältere, obwohl beide weiterhin durchsuchbar bleiben.Sprachliche Gewandtheitkann das System sicher klingen lassen, bevor es eine fundierte Grundlage hat.
In der Unternehmenssuche treten Halluzinationen in verschiedenen wiederkehrenden Formen auf.
- Erfundene Tatsache: Das System gibt eine Angabe wieder, die in keiner anerkannten Quelle zu finden ist.
- Unbegründete Schlussfolgerung: Die Antwort verbindet Fragmente aus mehreren Dokumenten zu einer Schlussfolgerung, die von keiner Quelle tatsächlich gestützt wird.
- Erstellung veralteter Antworten: Das System greift auf Informationen aus veraltetem Material zurück und präsentiert diese als aktuelle Fakten.
- Verhalten bei Antworten außerhalb des Anwendungsbereichs: Das Modell beantwortet eine Frage, für die der verfügbare Korpus keine Grundlage bietet.
- Gegen Richtlinien verstoßende Ausgabe: Der Inhalt mag sachlich plausibel klingen, überschreitet jedoch Grenzen in Bezug auf Zugriff, Datenschutz oder Compliance.
Erfundene Fakten sind am einfachsten zu übersehen und am schwersten zu kontrollieren, sobald die Antwort bereits die Schnittstellengrenze überschritten hat. Ein Modell kann ein Verlängerungsdatum, einen Schwellenwert für eine Richtlinie, eine Produktabhängigkeit oder eine Klausel erfinden, die nie geschrieben wurde. Unbegründete Synthesen sind subtiler und oft gefährlicher. Die Antwort kann zwar echte Dokumente zitieren, diese aber dennoch zu einer Interpretation kombinieren, die kein Prüfer genehmigen würde. Veraltete Antworten bergen eine andere Art von Risiko. Das System ruft Belege ab, die zu einem älteren Prozess, einem veralteten Vertrag oder einem nicht mehr gültigen Leitfaden gehören. Antworten außerhalb des Anwendungsbereichs scheitern an der Korpusgrenze. Das Modell antwortet, weil die Eingabeaufforderung zur Vervollständigung auffordert, obwohl das verfügbare Korpus nicht genügend Unterstützung enthält. Ausgaben, die gegen Richtlinien verstoßen, stellen eine weitere Ebene dar. Die Antwort kann vertrauliche Informationen preisgeben, Inhalte über Sicherheitsgrenzen hinweg zusammenführen oder Details offenlegen, die vor der Generierung hätten gefiltert werden müssen. Die Unternehmenssuche muss all dies als Fehler mit betrieblichen Konsequenzen behandeln.
Im Support kann ein erfundener Schritt zur Fehlerbehebung einen Kunden auf die falsche Fährte führen und zu mehr Supportanfragen führen. Im Finanzbereich kann eine falsche Antwort zu Genehmigungsschwellen, Preisregeln oder Berichtslogik die nächste Entscheidung in die falsche Richtung lenken. In Rechts- und Compliance-Workflows kann eine unbegründete Antwort so verbindlich wirken, dass sie vor der Überprüfung weiterverbreitet wird. Im Gesundheitswesen und anderen regulierten Bereichen können veraltete oder nicht belegte Leitlinien unmittelbare Risiken verursachen. Bei der internen Wissenssuche zeigt sich dasselbe Muster. Mitarbeiter nutzen Suchergebnisse, um verfahrenstechnische Entscheidungen zu treffen, Probleme weiterzuleiten, Vorfälle zu lösen und Richtlinien auszulegen. Eine Antwort von geringer Qualität kann schnell zu mehr Arbeitsaufwand führen.
Inagentischen Arbeitsabläufen kann eine falsche Antwort direkt in eine Aktion münden. Ein erfundener Anbieterstatus kann einen Fall in den falschen Prozess leiten, eine fehlerhafte Auslegung der Richtlinien kann einen Fall an das falsche Team weiterleiten, und eine falsche Angabe zum Bestellstatus oder zu Ansprüchen kann zu einem API-Aufruf, einer Rückerstattung, einer Statusänderung oder einer Kundenkommunikation führen, die niemals hätte stattfinden dürfen. In einer herkömmlichen Suchoberfläche hat eine Person noch die Möglichkeit, den Fehler zu bemerken, bevor sie handelt. In einem agentenbasierten Workflow kann die falsche Antwort direkt in das Softwareverhalten und die Geschäftsabläufe einfließen. Halluzinationen werden zu einem Kontrollproblem.
Durch Eingabehilfen lassen sich einige sichtbare Fehlermuster reduzieren. Die Hinlänglichkeit der Belege, die Aktualität der Dokumente und die Disziplin beim Zugriff werden durch die Systemgestaltung festgelegt. Widersprüche zwischen Quellen erfordern Kontrollen hinsichtlich Abruf, Validierung und Zurückhaltung. Eine gut formulierte Anweisung hängt von stichhaltigen Belegen, einem verwertbaren Kontext und den richtigen Dokumenten ab. Das unternehmensweite Problem beginnt bereits vor der Generierung und setzt sich darüber hinaus fort, wobei Abruf, Belegauswahl, Beantwortbarkeit, Quellenangabe und die Durchsetzung von Richtlinien allesamt darüber entscheiden, ob die endgültige Antwort vertretbar ist.
Unternehmensteams benötigen Antworten, die sie zum Zeitpunkt der Entscheidung überprüfen können. Ein Produktionssystem muss auf der Grundlage genehmigter Daten, unter Einhaltung von Zugriffsregeln, mit aktuellen Belegen und mit ausreichender Rückverfolgbarkeit für Prüfzwecke antworten. Die Teams müssen wissen, welches Dokument die Antwort gestützt hat, ob eine neuere Quelle vorlag, ob der Benutzer das Recht hatte, die Belege einzusehen, und ob die Antwort hätte blockiert werden müssen. Die folgende Tabelle fasst zusammen, wo Unternehmenssuchsysteme zur Laufzeit versagen und welche Kontrollebene jeweils dazu dient, den jeweiligen Fehler zu verhindern.
Die Antwort ist der Punkt, an dem der Fehler sichtbar wird. Die eigentliche Ursache kann in der Indizierung, den Metadaten, der Breite der Suchergebnisse, der Rangfolge, den Aktualitätsrichtlinien, dem Umfang des Korpus oder den Ausgabekontrollen liegen. Eine Antwort, die sicher klingt, kann fehlende Belege, ungelöste Konflikte oder Hinweise verbergen, die niemals in die Suchanfrage hätten einfließen dürfen.
Das Wiedergewinnen als Grundlage der Wahrheit
Die Datengewinnung ist die erste Kontrollstufe, dadie Qualität und der Umfang des Evidenzpakets darüber entscheiden, wie aussagekräftig die Antwort sein kann.Falsche, veraltete, unvollständige oder nicht autorisierte Passagen beeinträchtigen die Generierung. Das Modell kann dennoch eine flüssige Antwort erzeugen, die durch die aktuelle Evidenz nicht gestützt wird. Die Datengewinnung entscheidet darüber, was in die Generierung einfließt.
Ein umfangreiches Kontextfenster beeinflusst zwar, wie viel Material ein Modell verarbeiten kann, doch die Auswahl der Belege entscheidet nach wie vor darüber, ob die Antwort stichhaltig ist. Mehr Text kann zu Rauschen, doppelten Inhalten, Widersprüchen und Ablenkung von den tatsächlich relevanten Passagen führen. Umfangreiche Eingabeaufforderungen können Fehler bei der Rangfolge verschleiern, da nützliches und nutzloses Material gemeinsam geliefert wird. Eine zuverlässige Informationsgewinnung hängt nach wie vor von einer disziplinierten Auswahl der Kandidaten, einer klaren Abgrenzung des Untersuchungsbereichs und einer Komprimierung ab.
Relevanz allein reicht nicht aus. Ein Dokument kann zwar der Suchanfrage entsprechen, dennoch aber als Beleg für die Argumentation ungeeignet sein. Es kann zum falschen Geschäftsbereich gehören, eine ältere Richtlinienversion widerspiegeln oder Hintergrundinformationen liefern, ohne den streitigen Punkt zu untermauern. Bei der Auswahl der Beweismittel muss zwischen verwandtem Material und verwertbaren Belegen unterschieden werden.
Die hybride Suchereduziert zwei verschiedene Fehlerarten. Die dichte Suche ist stark bei semantischer Ähnlichkeit, der Verarbeitung von Paraphrasen und dem Konzeptabgleich, kann jedoch zu Passagen tendieren, die zwar thematisch relevant erscheinen, bei denen jedoch der genaue Begriff, die Kennung oder der Satzteil fehlt, auf dem eine Antwort basiert. Die Stichwortsuche ist stark bei wörtlichem Abgleich, Eigennamen, Produktnamen, Richtliniencodes und strukturierten Bezeichnern, kann jedoch die Absicht verfehlen, wenn Nutzer die Anfrage vage formulieren oder ein anderes Vokabular als im Ausgangsmaterial verwenden. Ein hybrider Ansatz reduziert beide Fehlerarten, indem er lexikalische Präzision mit semantischer Reichweite kombiniert und anschließend die Trefferliste mithilfe eines Rankings sortiert.
Das Rerankingist der nächste Schritt. Bei der anfänglichen Suche wird ein weites Netz ausgeworfen, und das Reranking verwandelt diese breite Kandidatenauswahl in ein verwertbares Evidenzpaket. Ohne Reranking könnte die Eingabe Passagen enthalten, die zwar einzeln plausibel, in ihrer Gesamtheit jedoch schwach sind. Ein Reranker kann die Übereinstimmung zwischen Anfrage und Dokument mit höherer Auflösung bewerten, Passagen mit direkter Antwortunterstützung hervorheben und Passagen herabsetzen, die lediglich thematisch verwandte Formulierungen enthalten. Die Generierung reagiert sehr empfindlich auf Reihenfolge und Relevanz, wobei Belege am Anfang des Pakets mehr Aufmerksamkeit erhalten. Ein schwaches Reranking führt daher zu einem subtilen „Halluzinationspfad“. Das richtige Dokument mag zwar irgendwo in der Eingabe vorhanden sein, doch das Modell orientiert sich an einer weniger präzisen Passage und baut die Antwort von dort aus auf.
Metadatenfilter sind ebenso wichtig wie der semantische Abgleich. Zugriffsebene, Geschäftsbereich, Region, Produktlinie, Dokumenttyp, Status der Richtlinie, Sprache, Rechtsordnung und Aktualitätsstatus beeinflussen alle, ob eine Passage für einen bestimmten Benutzer und eine bestimmte Frage als gültige Unterstützung in Frage kommt. Die Filterung ist der Mechanismus, der diese Einschränkungen vor der Generierung anwendet. Eine mangelhafte Metadatenverwaltung kann dazu führen, dass eine Ergebnisliste überzeugend erscheint, obwohl sie den Gültigkeitsbereich überschreitet. Die Generierung kann diesen Fehler nicht zuverlässig beheben. Ein System könnte einen Richtlinienentwurf anstelle einer genehmigten Richtlinie, eine globale Richtlinie anstelle einer regionsspezifischen Regel oder ein Dokument abrufen, das der Benutzer eigentlich nicht einsehen darf. Die Qualität der Suchergebnisse hängt von der Metadatenverwaltung ab, da der Support im jeweiligen Kontext korrekt sein muss.
Aktualitätsprüfungen gehören zum Abrufvorgang selbst. Viele Fehler in Unternehmen entstehen dadurch, dass zwar zulässige, aber veraltete Informationen bereitgestellt werden. Ein stillgelegter Arbeitsablauf, eine abgelöste Leistungsrichtlinie oder ein veraltetes technisches Runbook können immer noch einen hohen Rang einnehmen, wenn der Text fehlerfrei und reich mit Links versehen ist. Die Sprache allein verrät selten, dass Inhalte veraltet sind. Die Abrufebene benötigt explizite Aktualitätslogik, Versionspräferenzen und Regeln zum Dokumentenlebenszyklus, damit überholte Inhalte an Autorität verlieren, bevor sie in die Eingabeaufforderung gelangen. Manche Fragen erfordern standardmäßig die neueste Antwort. Andere erfordern die Richtlinie, die zu einem bestimmten Datum in Kraft war. Das Design des Abrufprozesses muss diese Unterscheidung berücksichtigen, sonst behandelt das System alle passenden Dokumente als gleich gültig, was in Produktionsumgebungen selten der Fall ist.
Die Chunking-Strategie beeinflusst die Qualität der Suchergebnisse auf einer tieferen Ebene, als viele Teams erwarten. Chunk-Grenzen legen fest, welche Informationen gemeinsam abgerufen werden können, welche Belege mit ihrem umgebenden Kontext verknüpft bleiben und wie viel von der ursprünglichen Dokumentenstruktur in der Kandidatenauswahl erhalten bleibt. Chunks auf Satzebene können die Präzision bei sehr spezifischen Aussagen verbessern, lassen jedoch häufig Einschränkungen, Einschränkungssätze und Ausnahmen weg, die für die korrekte Interpretation wichtig sind. Große Chunks auf Absatz- oder Abschnittsniveau bewahren mehr Kontext, können jedoch die relevanten Belege in unwichtigen Informationen verbergen und die Genauigkeit der Rangfolge verringern. Eine abschnittsorientierte Chunking-Strategie funktioniert oft besser, da sie die Dokumentstruktur wie Überschriften, Aufzählungsgruppen, Tabellen und Unterabschnitte von Richtlinien berücksichtigt.
Beim Chunking muss die semantische Einheit der Belegstelle erhalten bleiben, die für die Antwort tatsächlich erforderlich ist.
Eine schlechte Chunking-Aufteilung führt zu vorhersehbaren „Halluzinationspfaden“. Ein Satz-Chunk kann zwar einen Richtwert erfassen, dabei jedoch die zwei Zeilen später folgende Ausnahme außer Acht lassen; ein Absatz-Chunk kann sowohl die aktuelle als auch die außer Kraft gesetzte Regel enthalten, wenn das Quelldokument schlecht bearbeitet wurde; eine Aufteilung über eine Tabellenzeile hinweg kann einen Wert von der Überschrift trennen, die diesem Wert Bedeutung verleiht; und ein Abschnitts-Chunk kann so groß werden, dass für den Reranker nur noch eine allgemeine thematische Ähnlichkeit erkennbar ist. In jedem Fall erhält das Modell Material, das zwar brauchbar erscheint, dem jedoch die strukturelle Integrität von Belegen fehlt. Eine fundierte Generierung hängt vonAbrufeinheitenab, die genügend lokalen Kontext bewahren, um eine Interpretation zu ermöglichen.
Strukturierte und unstrukturierte Daten müssen im selben Abrufpfad zusammengeführt werden. Die „Unternehmenswahrheit“ ist oft über mehrere Datenformate verteilt. Eine Support-Antwort kann einen Absatz aus den Richtlinien, ein Produktattribut, ein Statusfeld und einen Berechtigungsdatensatz erfordern. Eine rein dokumentenbasierte Pipeline kann Zustände übersehen, die in strukturierten Systemen vorliegen. Eine rein strukturierte Pipeline kann Erläuterungen oder Ausnahmebehandlungen übersehen, die nur in Dokumenten vorhanden sind. Das Abrufdesign muss beide Formen unterstützen und sie bei der Rangfolge in Einklang bringen. Andernfalls stützt sich das System nur auf einen Teil der Realität und nutzt dann Generierungsverfahren, um die fehlenden Teile zu erraten. Diese Vermutung ist eine der Hauptursachen für unbegründete Synthesen.
Datenhygiene ist die stille Grundlage, auf der alles beruht. Die Qualität der Suchergebnisse sinkt rapide, wenn der Korpus mit doppelten Dateien, fehlerhafter Parsing-Verarbeitung, fehlenden Metadaten, schlechter OCR, unklarer Versionshistorie oder inkonsistenter Dokumentenstruktur überladen ist. Eine schlechte Datenaufnahme führt schon lange bevor das Modell ins Spiel kommt zu schlechten Kandidatenmengen. Ein Suchsystem kann über starke Embeddings, eine schnelle Infrastruktur und einen leistungsfähigen Reranker verfügen und dennoch Halluzinationen erzeugen, weil der indizierte Korpus die richtigen Informationen nicht in abrufbarer Form enthält. Teams erkennen diesen Fehler oft zu spät. Sie untersuchen Eingabeaufforderungen und das Modellverhalten, während das eigentliche Problem in der Dokumentenaufbereitung, der Aktualität des Indexes, der Feldzuordnung oder den Zugriffsmetadaten liegt. Die Korpushygiene ist Teil der Halluzinationsminderung, da die Qualität der Informationen bereits bei der Datenaufnahme beginnt. Die folgende Tabelle zeigt die Abrufentscheidungen auf, die das Halluzinationsrisiko beeinflussen, bevor die Generierung beginnt.
Ein Abrufpfad für Produktionsdaten erfordert eine klare Abfolge. Das Korpus wird in abrufbare Einheiten unterteilt. Metadaten enthalten Angaben zu Zugriff, Aktualität und Quellentyp. Beim ersten Abruf werden lexikalische und semantische Signale kombiniert. Durch die Neugewichtung wird eine direkte Übereinstimmung gegenüber einer vagen Ähnlichkeit bevorzugt. Durch das „Evidence Packing“ werden die Passagen beibehalten, die am ehesten eine begrenzte Antwort stützen. Eine leistungsfähigere Textgenerierung kann eine schwache Abfrage nicht ausgleichen. Der folgende Ausschnitt verwendet den aktuellen Stil des Algolia-Such-Clients 4.x für Python. Dabei wird davon ausgegangen, dass der Index, durchsuchbare Attribute, filterbare Attribute, die NeuralSearch-Konfiguration und benutzerbezogene Filter bereits vorhanden sind. Der erzwungene, benutzerbeschränkte Zugriff wird separat über gesicherte API-Schlüssel abgewickelt.
Grounding als Antwortbeschränkung
Durch die Verankerung bleibt die Antwort an die Beweislage zur Laufzeit gebunden. Von Unternehmenssystemen wird erwartet, dass sie Antworten auf der Grundlage von genehmigtem Material liefern, das aktuell, abgegrenzt und überprüfbar ist. Dokumente innerhalb einer Eingabeaufforderung schränken die Antwort nicht ein. Ein Modell kann bei schwachen Passagen improvisieren, widersprüchliche Quellen zusammenführen, sich auf parametrisches Gedächtnis stützen oder eine Antwort ohne ausreichende Grundlage vervollständigen. Die Verankerung setzt ein, wenn der Antwortpfad durch eingeschränkt wird, für die das System einstehen kann.
Der abgerufene Kontext wird fälschlicherweise als Beweis angesehen, selbst wenn die Antwort über das hinausgeht, was die Beweise stützen können. Das Hinzufügen von Dokumenten zur Eingabeaufforderung kann den falschen Eindruck erwecken, dass das Problem der Zuverlässigkeit gelöst sei. Dokumente im Kontext sind lediglich der Ausgangspunkt. Die Einschränkung erfolgt erst später durch Regeln, die festlegen, welche Passagen als verwertbare Belege gelten, wie mit Widersprüchen umgegangen wird, wie unbegründete Behauptungen blockiert werden und was das Modell sagen darf, wenn die Beweislage dünn ist. Eine fundierte Grundlage besteht nur dann, wenn diese Regeln durchgesetzt werden.
Parametrisches Wissen kann die Sprache vereinfachen und Struktur bieten, doch Unternehmensantworten hängen nach wie vor von aktuellen, genehmigten und abgegrenzten Laufzeitbelegen ab, die mit der Dokumentenhierarchie verknüpft sind. Eine Antwort zu einer Preisausnahme, einer Aufbewahrungsregel, einem Supportverfahren oder einer rechtlichen Klausel muss stets mit dem aktuellen Korpus verknüpft bleiben. Das ist die operative Bedeutung von „Grounding“ in der Unternehmenssuche. Die Antwort bleibt innerhalb der Support-Grenzen, die durch abgerufene Belege und richtlinienkonforme Quellen definiert sind.
In der Regel zeigt sich ein Mangel an fundierter Begründung in der Antwort selbst dann, wenn die eigentliche Ursache bereits eine Ebene zuvor liegt. Schwache Beweise, widersprüchliche Passagen, veraltete Dokumente, übermäßig umfangreiche Beweismittelpakete und eine mangelhafte Auswahl der Beweise könnenzu demselben Ergebnis führen. Die Antwort klingt zwar fundiert, doch das herangezogene Material reicht nicht aus, um sie zu rechtfertigen.
Das Abrufen liefert potenzielle Belege. Die Fundierung erfolgt zwischen dem Abrufen und der Freigabe. Dabei wird entschieden, ob die Belege die Antwort gemäß den Regeln stützen können, deren Durchsetzung das System vorsieht. Die Stützung muss direkt sein, der lokale Kontext muss sie bewahren, Widersprüche müssen aufgelöst werden, und die Unsicherheit muss gering genug sein, damit die Antwort freigegeben werden kann. Nachstehend finden Sie ein vereinfachtes Beispiel für die Antwortgrenze in der Praxis.
Prompting spielt nur eine begrenzte Rolle. Über Prompt-Anweisungen kann das Modell angewiesen werden, sich an die vorgegebenen Quellen zu halten, ungestützte Ergänzungen zu vermeiden, Belege anzuführen und ungestützte Fragen abzulehnen. Diese Anweisungen funktionieren nur, wenn die Informationsgewinnung bereits ein verwertbares Belegpaket geliefert hat und Laufzeitprüfungen die Grenzen durchsetzen. Schwache Belege, veraltete Dokumente, übergroßer Kontext und ungelöste Widersprüche sind nach wie vor Probleme der Informationsgewinnungsqualität und der Kontrolle. Prompting kann den Antwortvertrag festlegen. Die Qualität der Informationsgewinnung und die Laufzeitsteuerung entscheiden darüber, ob dieser Vertrag eingehalten wird.
Bei der „Grounding“-Methode kommen mehrere kleine Steuermechanismen anstelle einer einzigen umfassenden Anweisung zum Einsatz. Das System beschränkt die Generierung auf ausgewählte Textpassagen, extrahiert vor der Antwortgenerierung relevante Textabschnitte und ordnet jedes Antwortsegment einer unterstützenden Textpassage zu. Durch die teilweise Unterstützung wird der zulässige Geltungsbereich der Aussage eingegrenzt, und durch die begrenzte Abdeckung wird die Form der Antwort eingeschränkt. Diese Steuermechanismen verringern die Wahrscheinlichkeit, dass nicht durch den Text gestützte Formulierungen die Antwortgrenze überschreiten.
Allgemeine Zusammenfassungen lassen mehr Raum für unbegründete Synthesen als eng gefasste Antworten. Eine kompakte, auf Behauptungen beschränkte Antwort lässt sich leichter kontrollieren als eine ausführliche, erklärende Prosa, die auf einem gemischten Beweismaterial basiert. Die Antwort sollte dem Belegprofil der Beweise entsprechen. Eingrenzende Beweise sollten eine eingrenzende Antwort ergeben. Wenn die Belege nur einen Teil einer mehrteiligen Frage abdecken, muss das System diesen Teil beantworten und den Rest als unbegründet kennzeichnen. Eine starke Begründung zeigt sich als disziplinierte Unvollständigkeit. Die wichtigsten Mängel bei der Begründung in der Unternehmenssuche sind in der Tabelle zusammengefasst.
Durch eine solide Grundlage wird verhindert, dass das abgerufene Material zu einem rein dekorativen Rahmen für eine unbegründete Antwort wird. Sie entscheidet darüber, ob die Antwort unter Laufzeitbedingungen wie veralteten Inhalten, widersprüchlichen Passagen, schwacher Begründung unddem Druck durch die Eingabeaufforderung, die Antwort abzuschließen, innerhalb der Grenzen der Beleglage bleibt.
Ermittlung der Rechenschaftspflicht und die Logik der Stimmenthaltung
Durch die Verankerung bleibt die Antwort im Rahmen der verfügbaren Beweise, doch das System benötigt weiterhin eine separate Steuerung darüber, ob überhaupt eine Antwort generiert werden soll. Abgerufene Belegstellen können real, aktuell und richtlinienkonform sein und dennoch nichtdie eigentliche Frage beantworten. Das System verfügt möglicherweise über eine teilweise Übereinstimmung, ein veraltetes Fragment, ein widersprüchliches Passagenpaar oder nur Unterstützung für einen Teilbereich einer umfassenderen Anfrage. Das Modell kann dennoch eineflüssige Antwort generieren. Die Beantwortbarkeitserkennung stoppt die Antwort, wenn die Unterstützung unvollständig ist.
Eine Enthaltung ist eine an einen Schwellenwert gebundene Kontrollentscheidung, die von der Hinlänglichkeit der Evidenz abhängt. Ein Modell, das sagt „Ich weiß es nicht“, ist nur dann nützlich, wenn diese oberflächliche Antwort ein echtes Laufzeitsignal widerspiegelt. Sobald die verfügbare Evidenz unter den Schwellenwert fällt, sollte die Antwort zurückgehalten werden, selbst wenn das Modell noch eine flüssig oder vorsichtig klingende Antwort generieren könnte. Das System sollte in der Lage sein, aufzuzeigen, welche Evidenz abgerufen wurde, welches Hinlänglichkeitssignal fehlgeschlagen ist und warum der Antwortpfad geschlossen wurde.
„Retrieval“ stellt das Beweismaterial zusammen. „Grounding“ schränkt ein, was der Generator verwenden darf. „Answerability“ entscheidet, ob die verbleibende Begründung für eine Antwort, eine eingeschränktere Antwort, eine Eskalation oder eine Enthaltung ausreicht. „Generation“ kann auch unter Unsicherheit weiterhin Formulierungen erzeugen. Es ist jedoch weniger zuverlässig bei der Entscheidung, ob diese Unsicherheit die Antwort verhindern sollte.