# Was ist ChatGPT und wie funktioniert es?

ChatGPT ist ein Sprachmodell, welches von der amerikanischen Firma OpenAI entwickelt wurde und im November 2022 released wurde. Es ist ein sogenanntes Large Language Model (LLM). Unter LLMs versteht man statistische Modelle, die Sprache abbilden und mit sehr großen Mengen an Daten trainiert werden. LLMs können Wahrscheinlichkeiten von Wortreihenfolgen berechnen. ChatGPT wurde mit offen zugänglichen Daten aus dem Internet bis zum September 2021 trainiert. Jegliche Ereignisse, die danach stattfanden, sind ChatGPT also nicht bekannt.

In Kombination mit ChatGPT nutzt Kauz Retrieval Augmented Generation, was ein fortschrittlicher Ansatz im Bereich des maschinellen Lernens und der künstlichen Intelligenz ist. Er kombiniert zwei wichtige Fähigkeiten: das Abrufen von Informationen aus großen Textmengen und die Generierung von menschenähnlichem Text. Als Textmengen-Grundlage werden die firmeneigenen Daten benutzt. Für die Extraktion der relevanten Texte aus den Daten, müssen die Daten erst vektorisiert und Embeddings berechnet werden. Die Texte (bspw. von einer gecrawlten Website) werden zuerst in kleinere Teile unterteilt, in sogenannte Chunks. Diese werden dann vektorisiert, also die im Chunk beinhalteten Worte werden zueinander in Relation gesetzt.

Frau und Mann stehen hier im dreidimensionalen Raum in der selben Relation wie Königin und König zueinander, da sie semantisch dasselbe Verhältnis zueinander haben. Jedoch sind sie im Raum an leicht unterschiedlichen Stellen. Ebenso stehen Frau und Königin in derselben Relation zueinander wie Mann und König. Diese Vektoren, die Relation von Worten zueinander festhalten, werden dann in eine Reihe Zahlen übersetzt, mit welchen ChatGPT arbeiten kann.

Wenn nun ein Nutzer*innen-Input von der NLU an ChatGPT weitergegeben wird, werden aus den Embeddings die Chunks herausgesucht, die die größte Übereinstimmung mit dem Input haben. Aus diesen Chunks generiert ChatGPT nun eine Antwort, die im Chat-Frontend ausgespielt wird. Die Quelle der Chunks, also die zugehörige URL, wird ebenfalls ausgegeben, damit der*die Nutzer*in mehr Informationen zur gestellten Frage bekommen kann. ChatGPT nutzt für die Antwortgenerierung hier ausschließlich die von den Redakteur*innen zur Verfügung gestellten firmeneigenen Daten.