KI, Künstliche Intelligenz, hat in den letzten Monaten wieder mal einen Hype erfahren. Die öffentliche Aufmerksamkeit entstand durch das System ChatGPT der Firma OpenAI, welches erstaunliche Ergebnisse zu fast allen Fragen findet. Das sogenannte Large Language Modell (großes Sprachmodell) entstand aus der Analyse von Milliarden öffentlich verfügbarer Quelldokumente. Ob Seminararbeiten erstellen, Übersetzungen anfertigen, komplexe Suchen durchzuführen oder die Bitte, ein Gedicht zu generieren, sind keine fernen Aussichten mehr, sondern die Software steht kostenlos im Internet jedermann zur Verfügung. Laien und Profis sind erstaunt über die Qualität der Ergebnisse, welche dieses KI-Werkzeug erzeugen kann.
ChatGPT ist aber nicht das einzige verfügbare Werkzeug. Ein interessanter Kandidat ist das Sprachmodell Mixtral 8x7B. Details zum Ansatz in deutscher Sprache finden sich hier. Die Software ist Open Source und man kann das Modell auf einem gut ausgestatteten aktuellen Laptop laufen lassen. Für seriöses Experimentieren ist dies ausreichend. eadiz erprobt die Technologie im Kundenauftrag momentan für die Suche in komplexen Verwaltungsakten.
Es gibt aber zwei wesentliche Aspekte, die bei der Nutzung dieser Sprachmodelle beachtet werden müssen: das Alter der Daten und mögliche Fehler.
Alter
Sprachmodelle werden nicht fortlaufend aktualisiert. Es gibt einen Zeitpunkt, bis zu dem Eingangsdaten berücksichtigt werden. Dieser Zeitpunkt wird „cut off date“ genannt. Man könnte auf Deutsch sagen, dass dies der „Abnabelungstermin“ ist; hier hat die Software aufgehört die Welt zu beobachten und nutzt das bis dahin analysierte Wissen. Die öffentlich verfügbare Version von ChatGPT ist 3.5. Auf die Frage „Wie aktuell ist Dein Wissensstand?“ antwortete die KI am 22.02.2024 mit „Mein Wissenstand basiert auf Daten bis Januar 2022. Wenn es seitdem bedeutende Veränderungen oder Entwicklungen gegeben hat, könnte mein Wissen möglicherweise nicht mehr aktuell sein.“ Für die nicht öffentliche verfügbare Version von ChatGPT ist aktuell der April 2023 als cut off date genannt.
Wie dies die Nutzbarkeit des Werkzeugs einschränkt wird schon bei der einfachen Frage nach dem aktuellen deutschen Fußballmeister klar. ChatGPT 3.5 antwortet mit „Da mein Wissenstand bis Januar 2022 reicht, kann ich keine aktuellen Ereignisse oder Ergebnisse nach diesem Zeitpunkt berücksichtigen. Bis Januar 2022 war der deutsche Fußballmeister der FC Bayern München einer der erfolgreichsten Clubs in Deutschland. Allerdings müssten Sie nach aktuellen Informationen suchen, um den aktuellen deutschen Fußballmeister zu erfahren.“ Immerhin, es wird offen mit dieser Wissenslücke umgegangen. Man kann die Frage „Welche Anforderungen werden in Deutschland an Kommunen in Bezug auf Wärmeplanung gestellt?“ eingeben und feststellen, dass ChatGPT 3.5 nichts zum Gesetz für die Wärmeplanung und zur Dekarbonisierung der Wärmenetze ausführt. Die Auflistung von Textstellen wird aber mit einem generellen Hinweis abgeschlossen, dass die Anforderungen je nach Bundesland variieren und sich im Laufe der Zeit ändern können, da sich die energiepolitischen Rahmenbedingungen weiterentwickeln. Es sei daher wichtig, sich über die aktuellen Gesetze, Programme und Richtlinien auf Bundes- und Landesebene zu informieren.
Der Grund für die Nutzung des cut off dates ist der Aufwand, den das Sammeln der Daten und die Generierung der Sprachmodelle verschlingt.
Es gibt Erweiterungen, wie den Sprachmodellen weiters Wissen zur Verfügung gestellt werden kann. Ein Ansatz ist Retrieval Augmented Generation (RAG), beim dem zusätzliches Wissen in einem Speicher zur Verfügung gestellt wird, der dann bei der Analyse der Nutzeranfrage (Prompt) berücksichtigt wird. Es handelt sich aber quasi um Wissen 2. Klasse, da die Daten nicht vollständig mit dem bestehenden Wissen der Sprachmodelle verknüpft sind.
Aber nicht nur Wissenslücken stellen ein Problem dar, sondern auch fehlerhafte Antworten
Fehler
Das Kleingedruckte ist häufig relevant. Wer ChatGPT 3.5 nutzt, übersieht dies vielleicht, obwohl es direkt unter dem Eingabefeld steht, wo der Nutzer seine Prompts eingeben kann: „ChatGPT can make mistakes. Consider checking important information.“ Dieser Einschränkung sollte man sich bei der Nutzung bewusst sein.
Für die Fehler hat die Fachwelt einen neuen Begriff geprägt „KI-Halluzinationen„. Das System generiert plausibel klingende Antworten, die aber sachlich falsch sind. Der Grund ist, dass die KI nicht wirklich versteht, was der fachliche Gegenstand der Analyse ist, sondern es werden aufgrund von Ähnlichkeiten, Syntax und komplexen Wortbeziehungen Textbausteine aus Dokumenten entnommen, zusammengefügt und angepasst. Eine kurze Erläuterung zum Phänomen der Halluzinationen findet sich hier. Das System hat einen enormen Datenschatz, kennt aber die Bedeutung nicht. In der Informationstechnik ist dies der Unterschied zwischen Daten und Information.
Die generierten Antworten sollten also überprüft werden. Eigene Erfahrungen legen dies vor allem für generierten Code nahe. Ein einfache Copy & Paste der Antwort von ChatGPT 3.5 reicht nicht aus, um eine lauffähige Software zu erhalten. Die oft aus mehreren Quellen von ChatGPT kopierten Fragmente müssen angepasst werden, um eine sinnvolle Einheit zu bilden. Bei generiertem Code ist die Prüfung auf Richtigkeit auf der Syntax-Ebene einfach. Viele Fehler werden auch durch den Compiler oder Interpreter abgefangen. Letzten Endes muss man aber den generierten Code vollständig durchdringen, um Fehler auszuschließen.
Bei informellen Antworten des Systems ist die Überprüfung auf Fehler schwieriger und erfordert Fachwissen. Es stellt sich die Frage, wann der Aufwand für die Kontrolle größer wird als die Zeitersparnis beim Schreiben der Antwort. Hilfreich sind auf jeden Fall Systeme, die mit angeben, aufgrund welcher Fakten eine Antwort erzeugt wurde. Wir werden in den nächsten Jahren sicherlich Fortschritte bei der Vermeidung von KI-Halluzinationen sehen, gänzlich vermeiden werden sich diese auf lange Sicht aber nicht.
Fazit
Bei der Nutzung von mächtigen KI-Werkzeugen sollte man sich der Beschränkungen bewusst sein. Der spielerische Einstieg im Dialog mit frei verfügbaren Plattformen führt häufig zu Erstaunen und Begeisterung. Die professionelle Nutzung in Unternehmen und Ämtern verlangt aber eine kritische Würdigung der Antworten durch Experten. Die KI-Systeme können vielfach hilfreiche Assistenz bieten und Textvorschläge erarbeiten. Es ist aber noch lange nicht der Zeitpunkt gekommen, wo komplexe Aufgaben eigenständig durch Software erledigt werden können. Aber der heutige Stand der KI-Entwicklung bietet bereits wichtige Assistenz bei der Bewältigung komplexer Aufgaben an und es ist zu erwarten, dass die KI-Systeme schnell weitere große Fortschritte erzielen werden.
Beitragsbild von Alexandra_Koch auf Pixabay
.