# KI-Interaktion

# Prompt

Das Verhalten und die Antwortqualität Ihres Chatbots können Sie beeinflussen, indem Sie die KI-Interaktion konfigurieren. Die Angaben, die Sie dort hinterlegen, werden für den Prompt für das LLM genutzt.

Es ist erforderlich, dass Sie die Rolle und die Funktion Ihres Chatbots festlegen. So weiß der Chatbot, welche Rolle er einnehmen soll und welche Funktion (z. B. digitaler Assistent) er erfüllen soll.

Bitte wählen Sie aus, in welcher Sprache Sie den Prompt verfassen möchten. Formulieren Sie möglichst kurze, eindeutige und präzise Anweisungen. Vermeiden Sie zu komplexe Sätze, doppelte Verneinungen, Fachjargon, Abkürzungen oder mehrdeutige Begriffe. Bitte beachten Sie, dass alle Angaben unter Umständen wörtlich ausgespielt werden können.

Zusätzlich können Sie definieren, wie der Chatbot den*die Nutzer*in führen soll (z. B. Interessen identifizieren und passendes Produkt empfehlen) und Sie können festlegen, in welchem Stil (z. B. formell) der Chatbot kommunizieren soll. Sprache, Kontextbewusstsein und Antwortlänge sind im Basisprompt bereits berücksichtigt.

Anweisung	Beschreibung	Beispiel
Rolle (erforderlich)	Die Rolle definiert den Charakter oder die Identität, die von der KI in der Konversation angenommen wird. Sie legt den Kontext für die Interaktion fest.	Du bist ein hilfreicher Chatbot.
Funktion (erforderlich)	Die Funktion spezifiziert den Hauptzweck der Aufgabe, die von der KI in der Konversation erfüllt werden soll, wie z. B. Fragen beantworten, Ratschläge geben oder ein Konzept lehren.	Du arbeitest für die Firma "XXX", abgekürzt "YYY". Du beantwortest Fragen als Repräsentant dieser Firma.
Gesprächsführung	Diese Anweisung beeinflusst, wie die Konversationen gesteuert werden können. Es kann beispielsweise ein Fokus auf spezifische Themen, wie Produkte oder Dienstleistungen, gerichtet werden.	Du fokussierst dich während des Gesprächs auf unternehmensbezogene Themen.
Kommunikationsstil	Der Kommunikationsstil bestimmt den Tonfall und die Art und Weise, wie die KI kommuniziert, z. B. formell, locker, humorvoll oder einfühlsam.	Du kommunizierst in einem positiven, aber formellen Tonfall.
Persönlichkeit	Die Persönlichkeit beschreibt Charaktereigenschaften, die von der KI während der Konversation angenommen werden sollen, wie z. B. freundlich, seriös, enthusiastisch oder zurückhaltend.	Du bist freundlich, seriös und enthusiastisch, wenn es um Produkte und Dienstleistungen deines Unternehmens geht.
Einschränkungen	Einschränkungen setzen Beschränkungen oder Grenzen der KI in der Konversation, wie z. B. das Vermeiden bestimmter Themen oder persönlicher Meinungen oder das Einhalten spezifischer ethischer Richtlinien.	Du gibst keine Informationen oder Meinungen zum Konkurrenten "XXX" preis.
Freie Anweisungen	Freie Anweisungen erlauben es, spezifische Anweisungen oder Präferenzen, die in keine andere Kategorie passen, hinzuzufügen.	Du fügst am Ende jeder Antwort “Diese Informationen wurden zuletzt am 01.01.2024 aktualisiert” hinzu.

Der Prompt kann grundsätzlich bei der Verwendung von OpenAIs GPT-Modellen auf Deutsch formuliert werden.

Sollten Sie mit dem deutschsprachigen Prompt nicht den gewünschten Effekt erzielen, kann es sich jedoch lohnen, es mit einem englischsprachigen Prompt zu versuchen. Hintergrund ist, dass bestimmte Sprachmodelle mit einem englischsprachigen Prompt besser funktionieren.

# Antwortgenerierung

Sie können die Antwortgenerierung nicht nur durch Prompting, sondern auch durch verschiedene Konfigurationen beeinflussen:

# Anbieter & Modell

Die Generierung der Antwort können Sie außerdem beeinflussen, indem Sie ein bestimmtes LLM auswählen. Wählen Sie hierfür den gewünschten Anbieter und das jeweilige Modell aus. Aktuell werden folgende Anbieter unterstützt:

Anthropic (USA)
Azure OpenAI (Europa)
Azure Meta (Europa)
Mistral (Europa)
OpenAI (USA)

Bitte beachten Sie bei der Wahl des Modells, dass die im Chat eingegebenen Daten je nach Modell in Europa oder in den USA verarbeitet werden.

# Temperature

Die Temperature legt das Maß an Kreativität bei der Antwortgenerierung fest. Ein niedriger Wert führt zu konsistenteren Ergebnissen, ein höherer Wert zu diverseren Ergebnissen. Wir empfehlen, grundsätzlich die Temperature auf "0" zu setzen und diese nur zu erhöhen, wenn Ihr spezieller Use-Case dies erfordert. So erhöhen Sie die Wahrscheinlichkeit für faktisch korrekte Antworten.

# Antwortlänge

Legen Sie fest, ob Sie für Ihren Use-Case ausführliche Antworten oder knappe Antworten nutzen möchten.

# Antwortquelle anzeigen

Sie können entscheiden, ob dem*der Endnutzer*in die Quellen, aus der die Antwort generiert wurde, in Form von URLs im Antworttext angezeigt werden sollen.

# Informationssuche

Die Antwortqualität wird nicht nur durch die Auswahl eines bestimmten Modells oder die Konfiguration der Antwort bestimmt, sondern auch bereits durch die Informationssuche. Lassen Sie sich hierzu gern von Ihrer Kauz-Projektleitung beraten.

# Suchmethode

Wählen Sie aus, ob die Suche nach zur Frage passenden Informationen auf Grundlage von semantischen Ähnlichkeiten (Vektorsuche), konkreten Begriffen (Keywordsuche) oder hybrid erfolgen soll. Generell empfiehlt Kauz die hybride Suche. In bestimmten Fällen, z. B. wenn viele kurze Chunks nur Produktnamen und keine weiterführenden Informationen beinhalten, kann es sinnvoll sein, die Vektorsuche zu wählen.

# Anzahl auszuwählender Chunks

Wählen Sie aus, wie viele Chunks bzw. extrahierte Abschnitte für die Antwortgenerierung verwendet werden sollen. Generell gilt, dass bei kleinen bzw. kurzen Chunks mehr Chunks für die Antwortgenerierung herangezogen werden sollten.