# Systematische Tests im Editor

Die Qualität Ihres Chatbot können Sie direkt im Editor testen. Zur Testseite gelangen Sie über das Menü, dass sich mit Klick auf Ihren Benutzernamen öffnet.

Durch systematische Tests können Sie sicherstellen, dass alle relevanten Themen durch den Chatbot abgedeckt werden und identifizieren, inwiefern sich Ihr Chatbot durch die Weiterentwicklung (z. B. das Hinzufügen weiterer Datenquellen) verbessert.

Dort können Sie unter dem Reiter Testkatalog sowohl von Kauz bereitgestellte Standard-Testsets nutzen als auch eigene Testsets anlegen.

# Erstellung von Testsets

Neue Testsets bzw. Kategorien für das Gesamt-Testset können Sie erstellen, indem Sie auf Kategorie hinzufügen + klicken. Die neue Kategorie finden Sie unterhalb der bereits bestehenden Test-Kategorien. Neue Testfragen können Sie einer Kategorie hinzufügen, indem Sie auf den blauen +-Button klicken.

Mithilfe des Löschen-Buttons können Sie die Kategorie löschen.

Möchten Sie die Testfragen nicht händisch einfügen, können Sie ein bestehendes Testset hochladen. Klicken Sie hierzu auf den Upload-Button oberhalb der Kategorien. Im sich öffnenden Fenster können Sie ein bestehendes Testset als .txt-Datei hochladen und die enthaltenen Testfragen einer der bestehenden Kategorien zuordnen.

Wenn Sie die Test-Kategorien anders anordnen möchten, also z. B. besonders wichtige Kategorien weiter oben auf der Seite platzieren möchten, können Sie auf den Bearbeiten-Button oberhalb der Kategorien klicken und anschließend die einzelnen Kategorien per Drag & Drop verschieben. Die Änderungen können Sie mit Klick auf das Häkchen bestätigen oder mit Klick auf das Kreuz verwerfen.

# Durchführung der Tests

Generell können Sie entweder

das gesamte Testset (also alle Test-Kategorien zusammen) oder
einzelne Test-Kategorien

durchführen lassen. Das Testen des gesamten Testsets können Sie starten, indem Sie auf den Play-Button oberhalb aller Test-Kategorien klicken. Das Testen einzelner Test-Kategorien können Sie wiederum starten, indem Sie auf den Play-Button einer spezifischen Test-Kategorie klicken.

# Testreports

Bei der Durchführung der Tests wird ein Testreport erstellt, den Sie sich unter dem Reiter Reports ansehen können. Dort finden Sie einen Überblick über alle bisher erstellten Testreports. In der Übersicht sehen Sie bereits für jeden einzelnen Testreport

wann der Test durchgeführt wurde,
wie viele Fragen insgesamt getestet wurden,
wie viele Fragen durch die Kauz-NLU beantwortet wurden
wie viele Fragen durch ChatGPT beantwortet wurden und
bei wie vielen Fragen es ein Timeout seitens ChatGPT gab.

Wählen Sie in der Liste den gewünschten Testreport aus, um diesen näher anzusehen. Oberhalb des Reports sehen Sie, welche Test-Kategorie angezeigt wird. Nutzen Sie die Pfeil-Buttons links und rechts des Reports, um die Kategorie zu wechseln. Der angezeigte Testreport ist mithilfe des Suchfelds oben rechts durchsuchbar.

Der Testreport enthält

den getesteten Input,
die gegebene Antwort,
die Quelle der Antwort (also Kauz-NLU oder ChatGPT) und
gegebenenfalls weitere Details.

Den vollständigen Testreport können Sie mithilfe des Export-Buttons oben rechts als CSV-Datei, TSV-Datei oder eine durch Semikolon getrennte Datei herunterladen.