#
Qualitätssicherung
Kauz trifft verschiedenste Maßnahmen, um eine hohe Qualität der Kauz-Plattform und damit auch des Chatbots zu gewährleisten.
#
Testing neuer Releases
Kauz stellt in regelmäßigen Abständen neue, verbesserte Versionen für alle Komponenten bereit. Vor der Bereitstellung eines solchen Releases wird dieses ausführlich in verschieden konfigurierten Testumgebungen über alle Komponenten hinweg getestet, um zu sicherzustellen, dass alle Neuentwicklungen fehlerfrei funktionieren und außerdem die bestehende Funktionalität nicht einschränken.
Bevor ein neues Release bei Ihrem Chatbot ausgerollt wird, werden Sie über den Zeitpunkt und die in diesem Release enthaltenen Änderungen informiert.
#
Testing während des Entwicklungsprozesses der NLU
Bereits während des Entwicklungsprozesses werden verschiedene Tests durchgeführt, die die Qualität des Chatbots sicherstellen. Hierzu gehören
- Unittests, bei denen z. B. auf Klassenebene der Code an sich getestet wird.
- Komponententests, bei denen eine Komponente der NLU-Pipeline getestet wird. So gibt es z. B. Tests, die die Qualität des Parsings überwachen.
- End-to-End-Tests, bei denen von einer Chateingabe bis hin zur Ausgabe, also der Antwort des Chatbots, alle NLU-Komponenten durchlaufen und somit getestet werden
Zusätzlich gibt es wöchentliche Tests ("WeeklyTests"), die dazu dienen, die Qualität der Lexika zu garantieren und die Vollständigkeit der Lexika und Annotationen langfristig zu steigern.
#
Gewährleistung der Antwortqualität
Das Reporting im Editor bietet die Möglichkeit, Konversationen zu bewerten . Auf Grundlage dieser Bewertungen wird eine Statistik erstellt, die aufzeigt, wie groß der Anteil korrekt, akzeptabel und falsch beantworteter Fragen ist.
Damit die hohe Antwortqualität des Chatbots gewährleistet oder sogar stetig verbessert werden kann, werden vergangene, nicht erfolgreiche Chatverläufe analysiert und korrigiert, damit diese oder ähnliche Anfragen in Zukunft korrekt durch den Chatbot beantwortet werden können.
Bitte besprechen Sie den detaillierten Workflow mit Ihrer Kauz-Projektleitung
Darüber hinaus wird bei jeder Themenerweiterung und bei jeder annotatorischen Verbesserung überprüft, dass diese Änderungen keine negativen Auswirkungen auf das bisherige Antwortverhalten des Chatbots haben. Hierfür gibt es individualisierte Testsets, die das Wissensspektrum des jeweiligen Chatbots abdecken.