Die Möglichkeiten der künstlichen Intelligenz sind nahezu grenzenlos – Videos erstellen, Texte schreiben, Webseiten coden. Auch wir wurden neugierig und haben uns an einem Custom GPT probiert: dem Erschöpfungsbot. Unsere Erfahrungen im Praxisbericht.
Was genau der Erschöpfungsbot kann ist hier nachlesbar. Kurz gesagt: er kennt die Daten unserer Erschöpfungsstudien und kann auf dieser Basis Fragen beantworten, Hypothesen entwickeln und Daten interpretieren.
Ausprobieren kann man die Beta-Version hier.
Warum wollen wir einen Bot, der uns erzählt, was wir schon wissen? Um zu prüfen, wie er funktioniert. Welche Daten kann die KI wie verarbeiten, was schafft sie, und wo fängt sie an zu halluzinieren, weil ihre Grenzen erreicht sind? Wir wollten am praktischen Beispiel lernen.
Die Challenges:
- Datenaufbereitung
- Definitionen
- Testen
- Fehler
Custom GPT – was ist das?
Ein Custom GPT ist eine Möglichkeit, sich bei ChatGPT eine künstliche Intelligenz quasi auf Maß anzupassen. In einer Maske und einer Chatfunktion kann man die KI mit Informationen und Anweisungen füttern, was und wie sie zu sein hat. Wenn ich beispielsweise eine KI als Autorin für meine LinkedIn-Texte brauche, lege ich ein Custom GPT an, schicke ihr ein Dokument mit mehreren von mir verfassten Texten und instruiere sie mit „Du bist meine LinkedIn-Autorin und schreibst mir zu meinen Themenvorschlägen Texte, die im Stil meinen Beispieltexten gleichen.“ In der Feinjustierung kann ich zusätzlich Details wie die Emoji-Quantität oder Verlinkungen zur Website einfordern. So leicht, so praktisch. Und sobald mich etwas stört, schreibe ich der KI in den Einstellungen, was sie ändern soll.
Die Datenaufbereitung
Zurück zum Erschöpfungsbot. Der Aufgaben-Prompt war schnell geschrieben, knifflig wird es bei dem Punkt Datenaufbereitung. Wie gebe ich der KI die Daten, sodass sie diese im richtigen Kontext einordnet und mehrere verschiedene Befragungsfelder miteinander vergleichen kann?
Die Studienbroschüre als PDF eignet sich nicht, da wir dem Bot alle Befragungsergebnisse geben wollten – auch die, die es nicht in die Broschüre geschafft haben. Auch wollten wir ihm unsere Interpretationen und Schlussfolgerungen vorenthalten, schließlich interessiert uns, was er an der Stelle leisten kann.
Der Bot verknüpft die Antworten verschiedener Fragen zu Hypothesen.
Von Civey, dem Markt- und Meinungsforschungsinstitut, mit welchem wir die Studien durchgeführt haben, haben wir zu allen Fragen Datensätze mit einer Aufschlüsselung der Antworten nach diversen soziodemographischen Faktoren. Überführt in Tabellen haben wir die unserem Custom GPT gegeben und direkt gemerkt: das klappt auch nicht.
Die unbearbeiteten Daten-Tabellen sind für das GPT zu unübersichtlich: zu viele Designelemente, Leerzeilen, redundante Zeilen- und Spaltennamen.
In einem zweiten Versuch haben wir die Tabellen normalisiert, also alle Dopplungen gestrichen, viele kleine Untertabellen erstellt und mit Schlüsseln versehen.
Die Tabelle verknüpft die Erschöpfungsintensität, also der Erschöpfungswert auf einer Skala von 1-10, mit der Enr (1=nicht erschöpft, 2= erschöpft, 3= neutral), um drei Gruppen zu bilden.
Die Tabelle verknüpft die Erschöpfungsintensität mit der durch die Befragten generierte Häufigkeit.
Das funktionierte deutlich besser, der Bot konnte einiges zuordnen. Allerdings braucht die KI in dem Fall auch die Erklärungen, was genau die Tabellen bedeuten, in den Einstellungen hinterlegt. Für eine Befragungsperiode lief das auch reibungslos, den Vergleich zwischen zwei Studienjahren hat der Bot jedoch nicht geschafft.
Die Aufbereitung ist deutlich intuitiver, der Bot läuft jedoch nicht fehlerfrei, da er die Hierarchie der Fragen nicht versteht.
Zurück zu Tabellen, die auf den ersten Blick intuitiver sind. Die Version des Bots hat sich länger bewährt als seine Geschwister, aber nach den Standardfragen zeigt sich: der Studienaufbau mit seinen sich verändernden Stichprobenmengen (Gesamtmenge, Erwerbstätige, Menschen, die Frage 2 mit x beantwortet haben etc.) wird nicht korrekt eingeordnet. Der Bot vergleicht Antworten verschiedener Fragen miteinander, die nicht vergleichbar sind.
Der Bot wirft die Antworten zweier Fragen in einen Topf, obwohl sich die Stichproben unterscheiden und die Antworten somit nicht vergleichbar sind.
Die Lösung: Wir haben die Fragen codiert. Mit einem klaren Zahlencode ist jede Tabellenzeile eindeutig benannt, die Codes zeigen eine eindeutige Hierarchie und Zugehörigkeit zueinander und zu den Fragen.
Wenn Frage 1 im Jahr 2023 also den Code 01_00_23 trägt, tragen die Antwortmöglichkeiten einer Auswertungsmöglichkeit 01_01_23 bis 01_08_23. Parallel ist Frage 1 des Folgejahres 2024 eben 01_00_24 mit 01_01_24 bis 01_08_24. Wirkt kompliziert, aber einmal heruntergeschrieben folgt es einer simplen Logik, die sowohl Mensch als auch Maschine verarbeiten können. Wir haben dem Bot die Erklärung des Codes in die Einstellungen geschrieben, damit wirklich alles eindeutig festgelegt ist.
Definitionen
Es gibt die Möglichkeit, dem Custom GPT die Internetsuche zu verbieten. In unserem Fall möchten wir gewährleisten, dass alle Zahlen nur von uns stammen, weshalb wir ihm genau das untersagt haben. Deswegen haben wir ihm auch die wichtigsten Definitionen mit in die Einstellungen gegeben – ohne Google beginnt er sonst, sich einfach etwas auszudenken.
In unseren Daten gibt es eine Auswertung nach Religion, wobei nur „Katholisch“ und „Evangelisch“ ausdrücklich abgefragt werden. Die weiteren Optionen sind „Eine andere“ und „Konfessionslos“. In den Einstellungen steht deshalb:
Definitionen, die dem Bot die Unterscheidung erleichtern sollen.
Auch die Fragen-Hierarchie haben wir dem Bot schriftlich mitgegeben. Ebenso stilistische Wünsche, beispielsweise die Rundungsregeln (7,46% oder direkt 7,5%?), die Aufmachung von Grafiken oder der Ton. Unsere erste Regel ist übrigens:
„Der GPT gibt ausschließlich die in der Datei enthaltenen Prozentwerte wieder. Wenn eine Frage nicht durch die Daten abgedeckt ist, weist der GPT höflich darauf hin und erklärt, dass er keine Aussagen außerhalb der Datei treffen darf.“
Sicher ist sicher.
Testen
Wer einen funktionieren Bot möchte, muss ihn immer wieder ausprobieren. Und zwar am besten durch möglichst vielen Menschen. Verschiedene Ideen bringen verschiedene Antworten und entdecken am schnellsten die gängigen Fehler-Muster. Das Problem: die Ergebnisse einer KI sind nicht wiederholbar. Wenn Kollegin A eine falsche Antwort auf Frage 1 bekommt, kann die gleiche Frage bei Kollege B korrekt beantwortet sein. Es ist gar nicht so einfach, die wirklichen Fehler von den zufälligen Halluzinationen der KI zu unterscheiden.
Fehler
Die künstliche Intelligenz macht Fehler, so auch unser Bot. Der Lernprozess wird immer weiter gehen, und höchstwahrscheinlich ist der aktuelle Datensatz nicht die letzte Aufbereitung, die wir ausprobieren, um Fehler zu reduzieren. Aber: jeder Fehler lehrt uns etwas über die Funktionsweise der Black Box KI. Genau deshalb ist dieses Projekt auch so wichtig für uns.
Unser gelerntes Wissen geben wir gerne weiter, hier findet ihr unsere Schulungsangebote im Bereich der künstlichen Intelligenz. Bei Fragen oder Feedback sind wir unter connect@auctority.net zu erreichen.
