# KI-Interaktion

# Prompt

Das Verhalten und die Antwortqualität Ihres Chatbots können Sie beeinflussen, indem Sie die KI-Interaktion konfigurieren. Die Angaben, die Sie dort hinterlegen, werden für den Prompt für das LLM genutzt.

Es ist erforderlich, dass Sie die Rolle und die Funktion Ihres Chatbots festlegen. So weiß der Chatbot, welche Rolle er einnehmen soll und welche Funktion (z. B. digitaler Assistent) er erfüllen soll.

Bitte wählen Sie aus, in welcher Sprache Sie den Prompt verfassen möchten. Formulieren Sie möglichst kurze, eindeutige und präzise Anweisungen. Vermeiden Sie zu komplexe Sätze, doppelte Verneinungen, Fachjargon, Abkürzungen oder mehrdeutige Begriffe. Bitte beachten Sie, dass alle Angaben unter Umständen wörtlich ausgespielt werden können.

Zusätzlich können Sie definieren, wie der Chatbot den*die Nutzer*in führen soll (z. B. Interessen identifizieren und passendes Produkt empfehlen) und Sie können festlegen, in welchem Stil (z. B. formell) der Chatbot kommunizieren soll. Sprache, Kontextbewusstsein und Antwortlänge sind im Basisprompt bereits berücksichtigt.

Anweisung	Beschreibung	Beispiel
Rolle (erforderlich)	Die Rolle definiert den Charakter oder die Identität, die von der KI in der Konversation angenommen wird. Sie legt den Kontext für die Interaktion fest.	Du bist ein hilfreicher Chatbot.
Funktion (erforderlich)	Die Funktion spezifiziert den Hauptzweck der Aufgabe, die von der KI in der Konversation erfüllt werden soll, wie z. B. Fragen beantworten, Ratschläge geben oder ein Konzept lehren.	Du arbeitest für die Firma "XXX", abgekürzt "YYY". Du beantwortest Fragen als Repräsentant dieser Firma.
Gesprächsführung	Diese Anweisung beeinflusst, wie die Konversationen gesteuert werden können. Es kann beispielsweise ein Fokus auf spezifische Themen, wie Produkte oder Dienstleistungen, gerichtet werden.	Du fokussierst dich während des Gesprächs auf unternehmensbezogene Themen.
Kommunikationsstil	Der Kommunikationsstil bestimmt den Tonfall und die Art und Weise, wie die KI kommuniziert, z. B. formell, locker, humorvoll oder einfühlsam.	Du kommunizierst in einem positiven, aber formellen Tonfall.
Persönlichkeit	Die Persönlichkeit beschreibt Charaktereigenschaften, die von der KI während der Konversation angenommen werden sollen, wie z. B. freundlich, seriös, enthusiastisch oder zurückhaltend.	Du bist freundlich, seriös und enthusiastisch, wenn es um Produkte und Dienstleistungen deines Unternehmens geht.
Einschränkungen	Einschränkungen setzen Beschränkungen oder Grenzen der KI in der Konversation, wie z. B. das Vermeiden bestimmter Themen oder persönlicher Meinungen oder das Einhalten spezifischer ethischer Richtlinien.	Du gibst keine Informationen oder Meinungen zum Konkurrenten "XXX" preis.
Freie Anweisungen	Freie Anweisungen erlauben es, spezifische Anweisungen oder Präferenzen, die in keine andere Kategorie passen, hinzuzufügen.	Du fügst am Ende jeder Antwort “Diese Informationen wurden zuletzt am 01.01.2024 aktualisiert” hinzu.

Der Prompt kann grundsätzlich bei der Verwendung von OpenAIs GPT-Modellen auf Deutsch formuliert werden.

Sollten Sie mit dem deutschsprachigen Prompt nicht den gewünschten Effekt erzielen, kann es sich jedoch lohnen, es mit einem englischsprachigen Prompt zu versuchen. Hintergrund ist, dass bestimmte Sprachmodelle mit einem englischsprachigen Prompt besser funktionieren.

# Antwortgenerierung

Sie können die Antwortgenerierung nicht nur durch Prompting, sondern auch durch verschiedene Konfigurationen beeinflussen:

# Modellauswahl

Der KI-Assistent kann selbstständig entscheiden, welches LLM für die Beantwortung welcher Anfragen genutzt werden soll. So wird eine sehr gute Balance zwischen hoher Antwortqualität und Kostenoptimierung erreicht. Die automatische Modellauswahl garantiert einen DSGVO-konformen Betrieb.

Für RAG-Agenten (Default für die meisten KI-Assistenten) werden abhängig von der Datengrundlage (Größe der Chunks, Tabellen, Bilder, ...) die Modelle GPT-4 Turbo, GPT-4o, GPT-4o-mini und Pixtral genutzt.
Für Custom und Data Collection Agents wird GPT-4o-mini genutzt.
Für SQL Agents wird Claude 3.5 genutzt.

Mehr Informationen zu Agenten finde Sie hier .

Sie haben außerdem die Möglichkeit manuell das gewünschte LLM zu konfigurieren.

Aktuell werden folgende Anbieter unterstützt:

Anthropic (USA)
Anthropic (AWS - Europa)
OpenAI (Azure - Europa)
Meta (Azure - Europa)
Mistral (Europa)
OpenAI (USA)

Bitte beachten Sie bei der Wahl des Modells, dass die im Chat eingegebenen Daten je nach Modell in Europa oder in den USA verarbeitet werden und dass je nach Modell und Anbieter verschieden hohe Kosten entstehen.

# Temperature

Die Temperature legt das Maß an Kreativität bei der Antwortgenerierung fest. Ein niedriger Wert führt zu konsistenteren Ergebnissen, ein höherer Wert zu diverseren Ergebnissen. Wir empfehlen, grundsätzlich die Temperature auf "0" zu setzen und diese nur zu erhöhen, wenn Ihr spezieller Use-Case dies erfordert. So erhöhen Sie die Wahrscheinlichkeit für faktisch korrekte Antworten.

# Antwortlänge

Legen Sie fest, ob Sie für Ihren Use-Case ausführliche Antworten oder knappe Antworten nutzen möchten.

# Antwortquelle anzeigen

Sie können entscheiden, ob dem*der Endnutzer*in die Quellen, aus der die Antwort generiert wurde, in Form von URLs im Antworttext angezeigt werden sollen. Die URLs werden mit "Hier klicken für weitere Informationen:" eingeleitet und bieten den Nutzer*innen die Möglichkeit, weiterführende oder verwandte Informationen schnell und einfach zu finden.

# Informationssuche

Die Antwortqualität wird nicht nur durch die Auswahl eines bestimmten Modells oder die Konfiguration der Antwort bestimmt, sondern auch bereits durch die Informationssuche. Lassen Sie sich hierzu gern von Ihrer Kauz-Projektleitung beraten.

# Anzahl auszuwählender Chunks

Wählen Sie aus, wie viele Chunks bzw. extrahierte Abschnitte für die Antwortgenerierung verwendet werden sollen. Generell gilt, dass bei kleinen bzw. kurzen Chunks mehr Chunks für die Antwortgenerierung herangezogen werden sollten. Bei sehr großen Chunks müssen weniger Chunks für die Antwortgenerierung herangezogen werden.