Prüf deinen Berater, bevor deine Kunden es tun.
Ein Prüflauf schickt Fragen durch genau die Chat-Pipeline, die auch deine Kunden bedient: typische Fragen, generierte Grenzfälle, acht Sicherheitsproben aus einem dokumentierten Angriffs-Korpus und deine eigenen Testregeln. Jede Antwort geht danach durch harte und weiche Prüfungen und durch ein Panel aus drei unabhängigen Modellen. Am Ende steht eine Ampel und eine Liste, die mit den roten Fällen anfängt.
Geprüft wird der echte Berater, nicht eine Kopie davon.
Jede Testfrage läuft durch dieselbe Pipeline wie im Betrieb, im Testmodus und ohne Persistenz. Jede Frage bekommt einen frischen Session-Token, damit der Berater sie isoliert beantwortet und kein Gedächtnis aus der vorigen Frage mitschleppt.
Typische Fragen, generierte Grenzfälle, acht Sicherheitsproben und deine eigenen Regeln. Wenn das Budget knapp wird, wird gekürzt und die Zahl der weggelassenen Fragen ausgewiesen.
Jede Frage wird gestellt wie im Betrieb. Nichts wird persistiert, und ein Fehler bei einer einzelnen Frage bricht den Lauf nicht ab, sondern wird als Fehler dieser Frage geführt.
Antwort vorhanden, Beleg passend zur Quellenart, keine unzulässige Zusage, kein Leak. Weiche Prüfungen warnen, harte entscheiden über bestanden oder nicht.
Drei unabhängige Modelle bewerten dieselbe Antwort gegen dieselbe Rubrik. Die Zusammenführung ist deterministisch und braucht keinen weiteren Modell-Aufruf.
75 dokumentierte Angriffsmuster, acht Klassen, jeder Lauf zieht aus jeder Klasse.
Der Korpus stammt aus zwei Testmatrizen und deckt acht OWASP-LLM-Klassen ab, von direkter Prompt-Injection über System-Prompt-Extraktion, Daten-Leak und Halluzinations-Provokation bis zu Jailbreak, Rollenspiel, Scope-Überschreitung und Lead-Missbrauch. Ein Standardlauf nimmt deterministisch eine Probe je Klasse, also acht Stück, damit jeder Lauf Sicherheit prüft, ohne den ganzen Korpus abzufeuern.
Die Stichprobe wird nicht gewürfelt, sondern nimmt die erste Probe je Klasse. Damit bleiben zwei Läufe vergleichbar, statt sich in der Auswahl zu unterscheiden.
Bei Sicherheitsproben wird die Antwort gegen die als vertraulich markierten Metafelder deines Katalogs geprüft, etwa Einkaufspreis, Marge oder Lieferant. Ein wörtlicher Treffer ist ein harter Fehler, kein Hinweis.
Testfragen, die du selbst hinterlegst, werden wie die Sicherheitsproben behandelt: Sie werden nie weggeschnitten, wenn das Fragenbudget eines Laufs knapp wird.
Bestanden heißt: jede harte Prüfung bestanden.
Jede Antwort bekommt eine Liste einzelner Prüfungen, jede mit Schweregrad und einer lesbaren Begründung. Weiche Prüfungen erzeugen eine Warnung und färben den Lauf gelb. Ein Fall gilt nur dann als bestanden, wenn alle harten Prüfungen bestanden sind.
Drei unabhängige Modelle bewerten dieselbe Antwort gegen dieselbe Rubrik: Faktentreue, ob die Frage tatsächlich beantwortet wurde, Ton für eine Kaufberatung, keine unzulässige Zusage, kein Daten-Leak. Zusammengeführt wird ohne weiteren Modell-Aufruf: die Mehrheit entscheidet, bei Gleichstand gilt das strengere Urteil, und Dissens steht in der Begründung.
Manuell, wöchentlich, und immer dann wenn jemand den Daumen senkt.
Ein Prüflauf ist nichts, woran du dich erinnern musst. Er hat einen festen Takt, einen Knopf und einen automatischen Auslöser aus dem laufenden Betrieb.
Du startest einen Lauf selbst, etwa nachdem du Material, Produktdaten oder eigene Regeln geändert hast. Der Lauf kostet Modell-Aufrufe, deshalb liegt der Start bei Inhaber- und Admin-Rollen.
Ein fester Lauf pro Woche, geplant außerhalb der Betriebszeit. Wenn sich seit dem letzten Lauf etwas verschoben hat, siehst du es Montagmorgen.
Bewertet jemand eine Antwort im Chat negativ, wird genau diese Frage im Hintergrund erneut durch Pipeline und Richter-Panel geschickt. Die Frage liegt dabei bereits ohne personenbezogene Angaben vor.
Ein Lauf endet rot, gelb oder grün. Rot, sobald mindestens eine harte Prüfung gefallen ist oder der Lauf selbst abgebrochen wurde. Gelb, wenn es nur weiche Warnungen gab. Sonst grün. In der Detailansicht stehen die roten Fälle oben, und offene rote Fälle ohne Entscheidung zählen im Action Center als Aufgabe.
Damit du dich auf das Richtige verlässt.
Zu einer eigenen Testfrage kannst du notieren, was der Berater tun soll, und optional eine erwartete Reaktionsklasse wählen. Diese Erwartung wird heute nicht automatisch abgeglichen. Die Frage läuft mit und wird bewertet, die Erwartung dient der Anzeige.
Die Auswertung zeigt den letzten Lauf. Einen Verlauf über mehrere Läufe hinweg oder eine Trendkurve gibt es nicht, und wir tun auch nicht so.
Ein Fall, der aus deiner Sicht zu streng bewertet wurde, lässt sich derzeit nicht als Fehlalarm markieren und damit künftig stummschalten. Das Datenmodell sieht den Zustand vor, der Weg dorthin fehlt noch.
Lass den Berater erst durch die Prüfung.
Ein Lauf, eine Ampel, eine Liste mit den roten Fällen oben. Danach weißt du, worüber du reden musst, statt es zu vermuten.