Warum „bitte nicht halluzinieren" nicht funktioniert
Zwei Begriffe vorab, die dir in jedem Verkaufsgespräch begegnen werden. Ein Prompt ist der Text, den du an ein AI-Modell schickst, also deine Frage plus Anweisungen. Der System-Prompt ist eine versteckte Zusatz-Anweisung, die der Anbieter jedem Gespräch voranstellt. Viele Anbieter beantworten die Halluzinations-Sorge mit einem Satz genau dort: Antworte nur aus dem bereitgestellten Material, sag Bescheid, wenn du unsicher bist, erfinde keine Fakten. Das hilft. Es senkt messbar, wie oft das Modell eine Lücke mit plausibler Fiktion füllt. Garantieren kann es nichts, denn ein Prompt ist eine Bitte, keine Beschränkung. Das Modell erzeugt weiterhin die statistisch wahrscheinlichsten nächsten Wörter, und wenn die wahre Antwort in seinem Material fehlt, gehen „plausibel" und „wahr" ganz leise auseinander.
Das zweite Problem ist für ein Unternehmen das größere: Ein Versprechen im Prompt hinterlässt keine Spur. Auditieren heißt, hinterher mit Belegen prüfen zu können, was wirklich passiert ist. Ein Prompt kann dir das nicht geben. Sagt dir ein Anbieter „unsere Prompts verhindern Halluzinationen", kannst du das nicht nachprüfen. Es gibt keinen Nachweis, was getestet wurde, und keinen Plan für den Tag, an dem es schiefgeht. Du kaufst Hoffnung mit besserem Marketing.
Was einen Assistenten wirklich ehrlich hält, sitzt um das Modell herum, nicht in ihm drin. Vier Eigenschaften leisten diese Arbeit. Jede davon kannst du in einer ganz normalen Produkt-Demo sehen und testen, ohne technischen Hintergrund:
Der Assistent darf nur aus Material antworten, das du geprüft hast, und jede veröffentlichte Antwort zeigt sichtbar, woher sie stammt. Keine Quelle, keine Antwort.
Nichts wird automatisch veröffentlicht. Ein Mensch gibt jede Antwort frei, bevor ein Kunde sie sehen kann, und diese Freigabe wird dokumentiert.
Veröffentlichte Antworten werden laufend mit deinem Material und deinen Produktdaten abgeglichen. Ändern sich die Fakten, wird die Antwort gemeldet, statt still zu veralten.
Gibt es keine geprüfte Antwort, sagt der Assistent das offen und übergibt an einen Menschen, statt vor dem Kunden zu raten.
Eigenschaft 1: Antworten entstehen nur aus deinem eigenen Material
Der größte Hebel gegen Halluzinationen: einschränken, woraus das Modell überhaupt schöpfen darf. Ab Werk antwortet ein AI-Modell aus seinen Trainingsdaten, also aus dem riesigen Berg Internet-Text, mit dem es einmal trainiert wurde. Ein Assistent, der daraus antwortet, gibt früher oder später fremde Fakten als deine aus. Ein Assistent, der an dein eigenes geprüftes Material gebunden ist, an deine Produktdaten, deine Richtlinien, deine Dokumentation, kann nur so falsch sein wie dieses Material.
Der Test, den du in jeder Demo machen kannst: Zeigt jede Antwort ihre Quelle? Und zwar direkt an der Antwort, nicht versteckt in einem Admin-Bereich, sodass jeder eine Aussage bis zu dem Dokument zurückverfolgen kann, aus dem sie stammt. Bei Klariton wird jede Antwort als kleines Paket aus Frage, Antwort und Quelle gespeichert. Diese Einheit nennen wir BIQ, und der BIQ Answers Workflow veröffentlicht schlicht keine Antwort ohne Quelle. Egal welches Tool du dir ansiehst: Lass dir zeigen, wo die Quelle steht. Lautet die Antwort „das weiß das Modell", such weiter.
Eigenschaft 2: Ein Mensch gibt jede Antwort frei, bevor sie live geht
Erzeugen und Veröffentlichen sind zwei verschiedene Momente, und dazwischen wohnt die Sicherheit. Ein Review-Gate ist genau das, wonach es klingt: eine Freigabe-Schleuse zwischen beiden. Die AI darf so viele Entwürfe schreiben, wie sie will, aber keine Antwort erreicht einen Kunden, bevor ein Mensch sie gelesen und freigegeben hat. Dieser Mensch sieht den Entwurf neben seiner Quelle und bestätigt, dass beides wirklich zusammenpasst.
Das klingt langsam. Ist es in der Praxis meistens nicht. Die Fragen, die deine Kunden am häufigsten stellen, etwa zu Versand, Rückgabe oder Öffnungszeiten, ändern sich träge. Die große Prüf-Arbeit fällt also einmal an, ganz am Anfang. Danach landet nur noch Neues und Gemeldetes im Gate. Dafür bekommst du das eine, was kein Prompt liefern kann: Verantwortlichkeit. Wenn jede veröffentlichte Antwort einen benannten Freigeber und einen Zeitstempel hat, ist „das hat die AI gesagt" keine Ausrede mehr. Ein Mensch hat es dann nämlich auch gesagt.
Eigenschaft 3: Veröffentlichte Antworten werden auf Drift geprüft
Der tückische Fehler ist nicht die Antwort, die am ersten Tag falsch war. Die fängt das Review-Gate ab. Tückisch ist die Antwort, die bei der Freigabe stimmte und später falsch wurde. Ein Preis hat sich geändert. Ein Produkt ist ausgelaufen. Eine Richtlinie wurde angepasst. Die Antwort blieb stehen, während die Realität weiterzog. Dieses Auseinanderlaufen nennt man Drift, und ohne einen Mechanismus, der darauf achtet, veralten deine vertrauenswürdigsten Antworten langsam in aller Öffentlichkeit.
Die strukturelle Lösung: Nach der Veröffentlichung wird weiter geprüft. Veröffentlichte Antworten werden immer wieder mit dem aktuellen Material und den Produktdaten verglichen. Taucht eine Abweichung auf, geht die Antwort zurück in die Prüfung, statt live zu bleiben. Bei Klariton ist das der Job von SafeGuard: Es beobachtet jede veröffentlichte Antwort gegen die Quellen, aus denen sie freigegeben wurde. Die tool-neutrale Version des Tests: Ändere einen einzigen Fakt im Quellmaterial und schau, was mit den Antworten passiert, die darauf aufbauen. Wenn die ehrliche Antwort „nichts, bis sich jemand erinnert" lautet, endet die Sicherheit am Tag der Veröffentlichung.
Eigenschaft 4: Keine geprüfte Antwort? Übergeben statt raten
Deine Wissensbasis, also der Bestand an geprüften Antworten und Dokumenten, aus dem der Assistent arbeitet, hat immer Lücken. Niemand schreibt alles im Voraus auf. Entscheidend ist, was das System an so einer Lücke tut. Das falsche Verhalten: die Lücke füllen, mit einem flüssigen, selbstbewussten Absatz aus dem Nichts, ausgeliefert an einen Kunden, der den Unterschied nicht erkennen kann. Das richtige Verhalten ist unspektakulär: sagen, dass keine geprüfte Antwort existiert, und an einen Menschen übergeben. Diese Übergabe nennt man Eskalation. Die Frage reist dabei mit, damit sie beim nächsten Mal eine geprüfte Antwort sein kann.
So eine Eskalation ist kein Versagen, sie ist das System bei der Arbeit. Ein Assistent, der ehrlich übergibt, verwandelt seine Lücken in eine To-do-Liste für dein Team. Ein Assistent, der rät, verwandelt sie in Beschwerden, Rückerstattungen und Screenshots.
Fünf einfache Fragen an jeden Anbieter
Governance ist nur das förmliche Wort dafür, wer was wann kontrolliert. Du musst dafür nicht technisch sein. Die vier Eigenschaften übersetzen sich in einfache Fragen, und eine ausweichende Antwort ist auch eine Antwort:
| Frage | Wie eine gute Antwort aussieht |
|---|---|
| Woher kommen die Antworten? | Nur aus unserem geprüften Material, und jede Antwort zeigt ihre Quelle. Nicht „das Modell ist sehr präzise." |
| Wer gibt eine Antwort frei? | Eine benannte Person gibt jede Antwort vor der Veröffentlichung frei. Nicht „du kannst gern stichprobenartig prüfen." |
| Gibt es einen Audit-Trail, also ein Protokoll aller Freigaben? | Wer hat was wann auf Basis welcher Quelle freigegeben, später abrufbar. Nicht „wir loggen einige Events." |
| Was passiert bei Material-Änderungen? | Betroffene Antworten werden erkannt, gemeldet und neu geprüft. Nicht „aktualisier einfach die Antworten, an die du dich erinnerst." |
| Was passiert ohne passende Quelle? | Der Assistent sagt es und eskaliert an einen Menschen. Nicht „das Modell kann gut mit Sonderfällen umgehen." |
Schau, was auf dieser Liste fehlt: Modellnamen, Parameterzahlen, Benchmark-Ergebnisse. Nichts davon entscheidet, ob ein Assistent vor Kunden sicher ist. Das entscheidet die Struktur drumherum. Ein mittelmäßiges Modell in dieser Struktur ist vor Kunden sicherer als das neueste Spitzenmodell ohne sie. Und falls dich die Kehrseite interessiert, also was AI-Assistenten anderen Leuten über deine Marke erzählen, wenn du nicht im Raum bist: Dieses Feld heißt Prompt-Monitoring.
Häufige Fragen
Reicht Prompt-Engineering allein gegen Halluzinationen?
Nein. Prompt-Engineering heißt: bessere Anweisungen für das AI-Modell formulieren. Eine gute Anweisung senkt tatsächlich, wie oft Antworten erfunden werden. Aber eine Anweisung ist eine Bitte, keine technische Grenze, und ein Versprechen lässt sich hinterher nicht nachprüfen. Echter Schutz sitzt in der Struktur um das Modell herum: Antworten nur aus deinen eigenen Quellen, ein Mensch, der vor der Veröffentlichung freigibt, laufende Prüfung gegen dein aktuelles Material und eine ehrliche Übergabe an einen Menschen, wenn keine geprüfte Antwort existiert.
Bremst ein menschliches Review-Gate nicht alles aus?
Weniger als es klingt. Die Fragen, die deine Kunden am häufigsten stellen, ändern sich träge. Der Großteil der Prüf-Arbeit fällt einmal an, wenn der erste Bestand an Antworten freigegeben wird. Danach heißt Review nur noch: neue Antworten und gemeldete Änderungen anschauen. Für die meisten kleinen Teams sind das ein paar Minuten pro Woche am Stück, keine tägliche Last.
Was sollte passieren, wenn sich mein Material ändert?
Das System sollte es merken, nicht du. Veröffentlichte Antworten müssen laufend mit dem aktuellen Material und den Produktdaten abgeglichen werden. Passt etwas nicht mehr zusammen, gehört die Antwort zur Prüfung gemeldet, statt live zu bleiben und still falsch zu werden. Kann ein Tool das nicht, ist jede Änderung an deinem Material ein unsichtbares Risiko.
Ist es schlecht fürs Kundenerlebnis, wenn der Assistent sagt, dass er etwas nicht weiß?
Im Gegenteil. Eine selbstbewusst vorgetragene falsche Antwort kostet Vertrauen und manchmal Geld. Eine ehrliche Übergabe zeigt dem Kunden: Die Frage wurde verstanden, sie wird ernst genommen, und ein Mensch beantwortet sie. Nebenbei bekommt dein Team genau die Fragen auf den Tisch, die im freigegebenen Material noch fehlen.
Klariton ist genau um diese vier Eigenschaften herum gebaut: Antworten mit Quelle (BIQs), ein menschliches Review-Gate, Drift-Prüfung durch SafeGuard und ehrliche Eskalation. Der kostenlose AI-Visibility-Check, eine Analyse, wie AI-Assistenten deine Marke heute sehen, ist der Einstieg ohne Setup.