Zum Inhalt springen

Der Eval-Advisor findet falsche KI-Antworten, bevor Ihre Kunden sie lesen.

Ihr Chatbot oder RAG-System antwortet flüssig. Aber stimmt es auch? Der Eval-Advisor, eine Eigenentwicklung von pentabytes, prüft jede Aussage gegen Ihr Fachsystem oder Ihre Daten, findet falsche und fehlende Inhalte in der Wissensbasis und schlägt konkrete Änderungen vor. Im Betrieb wertet er zusätzlich echte Chats aus.

In meinen KI-Projekten ist der Eval-Advisor von Anfang an dabei. Bei Assistenten, die Sie bereits betreiben, klären wir vorab, ob und wie er sich anbinden lässt.

Eval-Advisor besprechenAlle KI-Leistungen
Eval-AdvisorBeispiel

Testfrage

Wie lange dauert die Lieferung nach Österreich?

Aussagen der Antwort, geprüft gegen das Versandsystem

  • Versandkostenfrei ab 150 €bestätigt
  • Lieferung in 3–5 Werktagenwiderspricht
  • Expressversand möglichunklar

Vorschlag: Artikel „Versand ins Ausland“ anpassen

Versandsystem: 5–7 Werktage nach Österreich.

systematisch · 5 von 5 Läufen

Das Problem

Klingt richtig, ist aber falsch

Übliche Prüfungen fragen: Passt die Antwort zu den gefundenen Dokumenten? Steht im Dokument etwas Veraltetes, gilt die falsche Antwort als korrekt.

Übliche Prüfung

Antwort ↔ gefundene Textstellen

Erkennt, wenn der Assistent etwas erfindet. Gibt er dagegen einen veralteten Artikel korrekt wieder, meldet die Prüfung: alles in Ordnung.

Eval-Advisor

Antwort ↔ Ihr Fachsystem oder Ihre Daten

Geprüft wird gegen das, was tatsächlich gilt: aktuelle Daten, Regeln im Fachsystem oder im Quellcode, oder Antworten, die Ihre Fachabteilung bestätigt hat. So fällt auch der veraltete Artikel auf.

Was er auswertet

Zwei Quellen, ein Ziel: eine bessere Wissensbasis

Testfragen zeigen, was schon vor dem Start falsch ist. Echte Chats zeigen, was im Alltag fehlt. Beides mündet in konkrete Vorschläge.

Vor dem Start und vor jeder Änderung

Testfragen

Fragen zu Ihren wichtigsten Themen, jeweils mit Pflichtpunkten und dem, was in einer Antwort nie vorkommen darf.

  • falsche Aussagen
  • fehlende Pflichtpunkte
  • Verschlechterung nach Änderungen
Im laufenden Betrieb

Echte Chats

Chatverläufe und Daumen-Bewertungen Ihrer Nutzer, nur mit deren Einwilligung und auf Wunsch lokal ausgewertet.

  • fehlendes Wissen
  • missverständliche Inhalte
  • wiederkehrende Fragen

So arbeitet er

Von der Testfrage zur besseren Wissensbasis

  1. 01

    Fragen stellen

    Der Assistent beantwortet die Testfragen mit derselben Zielgruppe und demselben Kontext wie bei echten Nutzern, in mehreren Läufen.

  2. 02

    Jede Aussage prüfen

    Bestätigt, widerspricht oder unklar: geprüft gegen Ihr Fachsystem oder Ihre Daten. Mehrere Läufe zeigen, ob ein Fehler systematisch ist oder Zufall.

  3. 03

    Änderungen vorschlagen

    Konkrete Textänderungen an der Wissensbasis, keine Kennzahlen. Ihre Fachabteilung entscheidet, was übernommen wird.

  4. 04

    Erneut prüfen

    Nach jeder Freigabe laufen dieselben Testfragen noch einmal, damit eine Verbesserung nichts anderes verschlechtert.

Automatisierung & Freigabe

Wie viel Automatisierung, entscheiden Sie

Vom einmaligen Check bis zur laufenden Überwachung. Je mehr automatisch läuft, desto wichtiger sind klare Freigaben.

  1. Stufe 1manuell

    Einmaliger Qualitäts-Check

    Ein Durchgang mit Bericht und Vorschlägen. Sie entscheiden über jeden Punkt. Der übliche Einstieg.

  2. Stufe 2teilautomatisiert

    Regelmäßig, mit Freigabe

    Läufe in festen Abständen und vor jeder größeren Änderung. Vorschläge kommen als fertiger Änderungsentwurf, Ihre Fachabteilung gibt frei, danach laufen die Testfragen automatisch erneut.

  3. Stufe 3automatisch überwacht

    Laufend im Betrieb

    Testfragen laufen bei jeder Änderung an Dokumenten, Modell oder Prompt. Wird etwas schlechter, kommt eine Meldung, bevor die Änderung live geht. Dazu wertet der Eval-Advisor echte Chats aus.

In jeder Stufe gleich: Die KI ändert die Wissensbasis nie allein. Jede Freigabe ist einer Person zugeordnet und nachvollziehbar, so wie es Ihre KI-Governance verlangt.

Ergebnis

Was Sie am Ende in der Hand haben

Falsche Inhalte

Aussagen, die Ihrem Fachsystem oder Ihren Daten widersprechen, mit der Stelle in der Wissensbasis, aus der sie stammen.

Fehlende Inhalte

Fragen, auf die der Assistent ausweicht, rät oder Pflichtpunkte auslässt, weil das Wissen schlicht nicht drinsteht.

Systematisch oder Zufall

Tritt ein Fehler in jedem Lauf auf, muss ein Dokument geändert werden. Schwankt er, liegt es an der Streuung des Modells. Beides braucht eine andere Lösung.

Vorschläge zum Freigeben

Änderungen an der Wissensbasis als konkreter Text. Ihre Fachabteilung entscheidet, was übernommen wird.

Ein Prüfstand, der mitwächst

Aus dem Check wird ein fester Satz Testfragen. Vor jedem Modellwechsel und jeder größeren Änderung an Dokumenten oder Prompts zeigt er, ob noch alles stimmt. Geht im Alltag etwas schief, kommt die Frage dazu, damit derselbe Fehler nicht zweimal passiert.

Bericht mit Prioritäten

Was gefunden wurde, wie schwer es wiegt und was zuerst zu tun ist, für die Fachabteilung, die die Inhalte pflegt.

Ehrlich über Grenzen

Was der Eval-Advisor kann, und was nicht

Damit Sie vorher wissen, worauf Sie sich einlassen.

Ergänzt bestehende Werkzeuge

Die Evaluierungsdienste der großen Clouds und spezialisierte Plattformen messen Antwortqualität gut. Ihre Optimierer setzen meist bei Prompts an. Der Eval-Advisor setzt bei den Inhalten an, aus denen die Antworten entstehen.

Bestehende Assistenten: zwei Zugänge nötig

Zum Assistenten, um Testfragen automatisiert zu stellen, und zu der Quelle, gegen die geprüft wird: Fachsystem, Datenexport oder bestätigte Antworten Ihrer Fachabteilung. Bei geschlossenen Diensten fehlt oft der erste. Das klären wir vorab, bevor Aufwand entsteht.

Auch das Prüfer-Modell kann irren

Deshalb geht kein Vorschlag ungesehen in die Wissensbasis. Unklare Fälle werden als unklar markiert, statt sie schönzurechnen.

Auf Wunsch komplett lokal

Die Auswertung kann mit einem eigenen Modell laufen. Dann gehen weder Testfragen, Antworten noch Chats an Dritte.

Weitere KI-Themen

Greift ineinander

Die Bausteine lassen sich einzeln einsetzen und kombinieren.

Kontakt

Lassen Sie uns über Ihr Vorhaben sprechen.

Ein fertiger Projektplan ist nicht nötig. Schildern Sie kurz, was Sie beschäftigt – gemeinsam klären wir, wo KI und Software für Sie einen echten Unterschied machen.

Ich arbeite remote mit Ihnen zusammen, egal wo Ihr Unternehmen sitzt. Vor Ort bin ich vor allem in der Region Nürnberg/Regensburg und rund um Amberg, bei Bedarf auch darüber hinaus.

Ihre Anfrage

Ihre Angaben verwenden wir ausschließlich zur Bearbeitung Ihrer Anfrage. Details dazu – auch zu Ihren Rechten und zum Widerspruchsrecht – finden Sie in der Datenschutzerklärung.