Fehler vermeiden statt produzieren – Praktische Beispiele für Qualität dank KI

Kategorien: Datenschutz und Künstliche Intelligenz

Sprachmodelle können nicht nur fehlerhafte Ausgaben erzeugen, sondern auch dabei helfen, Fehler zu vermeiden. Konkrete Beispiele geben eine Idee davon, was möglich ist. Auf dem Mainzer Digitalkongress wurden die Beispiele live auf einem KI-Laptop vorgeführt.

Der Mainzer Digitalkongress findet einmal jährlich in Mainz statt und wird vom IT Klub Mainz & Rheinhessen, der Hochschule Mainz und der Landeshauptstadt Mainz organisiert. Wie im vorigen Jahr fand auch diesmal ein KI-Workshop für Interessierte im Gutenberg Digitalhub in der Mainzer Innenstadt statt.

Im Workshop zeigte Dr. Klaus Meffert zuerst, wie Halluzinationen entstehen können. Alle Vorführungen fanden lokal auf einem KI-Laptop statt, der autark und ohne Netzwerkverbindung arbeitete.

Universalsysteme wie ChatGPT oder Copilot sind besonders anfällig für die Sorte von Falschaussagen, die als Halluzinationen bezeichnet werden.

Halluzinationen sind Falschaussagen, die durch unerwünschte Kombination von korrektem Hintergrundwissen entstehen.

Auch Bing von Microsoft, das im Hintergrund ChatGPT nutzt, bringt offenbar falsche Ergebnisse hervor:

Wie im Bild zu sehen ist, lieferte Bing auf eine Frage zwei widersprüchliche Antworten. Die richtige Antwort kam aus einem Zitat eines Dr. DSGVO Artikels (siehe Bild). Zu einer Frage können jedenfalls nicht gleichzeitig zwei widersprüchliche Antworten richtig sein, egal welche Antwort man als richtig einstufen würde:

• „Nicht zuverlässig ermittelt werden“
• „Ja“

Bei der ersten Antwort stellt sich bereits die Frage, ob der genannte Halbsatz überhaupt eine gute Antwort ist, unabhängig vom Wahrheitsgehalt. Die Bing-Antwort ist also an sich falsch. Das liegt am Ansatz, den Microsoft gewählt hat.

Zusätzlich kommt hinzu, dass die Microsoft KI nicht weiß, was richtig und was falsch ist. Vielmehr wird so getan, als seien die besten Suchergebnisse „immer“ richtig. Fake News at its best.

Halluzinationen vergrößern das Problem von Falschaussagen, die durch ChatGPT, Copilot oder Bing entstehen. Am Beispiel sieht man anschaulich, wie Halluzinationen entstehen:

Zwei richtige Aussagen sind die Basis:

1. „Einstein gewann den Nobelpreis für Physik“
2. „Einstein entwickelte die Relativitätstheorie“

Die Frage des Nutzers an die KI, die die beiden richtigen Aussagen aufgreift, lautet beispielsweise nun:

„Wofür erhielt Einstein den Nobelpreis für Physik?“

Die KI kombiniert die beiden Fakten falsch und liefert die falsche Antwort:

„Einstein gewann den Nobelpreis für Physik für die Relativitätstheorie“

Dieses falsche Ergebnis kommt durch Addition zweier Vektoren zustande, wie im Bild vereinfacht dargestellt. Ein Vektor ist die interne Repräsentation von Wissen in einem neuronalen Netzwerk. Addiert man die beiden Vektoren der eben genannten beiden Fakten, dann entsteht ein Vektor, dessen Bedeutung intern der genannten KI-Antwort am nächsten kommt.

So entstehen Halluzinationen.

Fehler mit Hilfe von KI vermeiden

Zurück zum Thema des Beitrags: Wie kann man Fehler mit Hilfe von KI vermeiden?

Chatbots

Bei Chatbots lautet die erste Regel:

Verwende keine Allgemeinintelligenz

Diese Regel sollte immer dann angewendet werden, wenn die Antwort belastbar sein soll und vor allem, wenn es um Firmenwissen geht.

Das Schaubild zeigt gängige Möglichkeiten, KI-Antworten zuverlässiger zu machen. Immer, wenn jemand sagt „Wir verwenden RAG, um beste KI-Antworten zu liefern“, dann ist das eher Marketing-Sprech als solides Wissen. Denn RAG gibt es als Verfahren schon seit Anbeginn der neuzeitlichen KI. RAG alleine ist das Minimum, was man tun muss. Wer es nicht tut, macht etwas falsch. Und wer RAG nutzt und darüber spricht, will Sie mit Minimallösungen beeindrucken.

Doch auch in anderen Arbeitsgebieten können Fehler mit KI-Unterstützung vermieden werden.

Prozessoptimierung

Beispielsweise können mit KI Arbeitsanweisungen erstellt werden, um Fehler im Fertigungsprozess zu vermeiden. Nehmen wir die Tätigkeit der Zerspanung als Beispiel. Für diesen Prozess sind Fehlerursachen bekannt, beispielsweise „Maschine hatte zu wenig Kühlwasser“.

Wie kann aus den benannten Fehlern zu einem Prozess nun möglichst komfortabel eine Arbeitsanweisung erstellt werden? Indem eine KI hinzugezogen wird,

Das Bild zeigt die Eingaben (linke Hälfte) und einen Auszug der KI-Ausgaben (rechte Hälfte):

Das KI-Ergebnis liefert wahrscheinlich 80 bis 95 % des perfekten Ergebnisses. Anstatt selbst (als Experte) stundenlang nachzudenken und ein ähnliches Ergebnis zu erhalten, wird die KI-Ausgabe als sehr gute Vorlage verwendet. Nur noch wenige Teile müssen ergänzt oder in seltenen Fällen abgeändert werden.

Bei diesem Vorgehen ist es auch möglich, ISO-Vorgaben oder eigene Erkenntnisse aus früheren Projekten in Form von Dokumenten einzuspeisen. Die KI berücksichtigt diese dann entsprechend.

Messwerte auswerten

Ein häufiges Vorhaben ist das Auswerten von Sensorwerten. Hierbei stellt sich vor allem in der Anfangsphase die Frage, ob die eingebauten (oder selbst gebauten) Sensoren richtig funktionieren oder um die Umgebungsparameter passen.

Warum nicht einfach die Sensorwerte visualisieren?

Bevor man sich durch Excel-Tabellen und Formeln kämpft, hilft bereits ein KI-Code-Generator weiter. Das Bild zeigt ein solches Programm. Es zeigt anhand einer Regressionsanalyse für beliebige Datenpunkte an, was die gedachte Durchschnittslinie durch alle Datenpunkte ist (rote Linie). So lassen sich schnell Ausreißer erkennen. Auch Kennzahlen wir die Korrelation der Daten geben eine gute erste Indikation.

Das Programm kann mit wenig Aufwand wesentlich ausgebaut und um neue Funktionen und Features erweitert werden. Goodbye Excel.

Fehler in Programmcode finden

KI entfaltet ihre volle Wirkung bei der Erstellung von Programmen, siehe Beispiel von eben. Nicht nur, dass leistungsfähige Apps von Grund auf neu erstellt werden können: Auch bestehende Anwendungen können von KI profitieren.

Jedes ausreichend komplexe Programm ist fehlerhaft. Siehe das menschliche Gehirn (auch eine Art Programm) oder auch KI-Modelle (im Kern bestehend aus einem neuronalen Netz, vergleichbar mit dem menschlichen).

Fehler in Programmen können am effektivsten auf unterster Ebene, nämlich im Quelltext, gefunden und behoben werden. Der gängigste Mechanismus hierfür sind Unit Tests.

Unit Tests sind kurze Testroutinen, die einzelne Routinen im Programm auf Korrektheit testen. Unit Tests können jederzeit automatisiert ausgeführt und automatisiert ausgewertet werden.

Der Workflow eines Test-Driven Development lautet in Wesentlichen:

1. Unit Tests erstellen (optional, das wäre dann „Tests first“)
2. Programmcode erstellen
3. Unit Tests erstellen oder erweitern
4. Unit Tests ausführen
5. Fehler korrigieren und zurück zu Schritt 3, bis alle Fehler behoben sind
6. Programm erweitern
7. Zurück zu Schritt 4

Früher mussten Entwickler ihre Unit Tests von Hand programmieren. Das führte dazu, dass meistens keine oder viel zu wenige Unit Tests vorhanden waren. Jede Code-Änderung, die aufgrund eines Fehlers oder eines Feature Requests stattfand, wurde dann „quick and dirty“ vorgenommen. Zu groß war die Angst von Seiteneffekten.

Jetzt kann einfach mit einem (Open Source) KI-Codegenerator (oder auch mit guten Open-Source Sprachmodellen) eine beliebige Anzahl an Unit Tests erstellt werden.

Fazit

KI kann in alle möglichen Lebenslagen und vor allem in Unternehmen sehr gut dabei helfen, die Qualität von Produkten zu verbessern. Sei es auf fachlicher, technischer oder organisatorischer Ebene. Sicher können auch juristische Prozesse von KI begleitet werden, um produktiver zu sein.

Wer ohne KI im Unternehmen arbeitet oder nur auf Copilot oder ChatGPT setzt, arbeitet am unteren Rand des aktuell gerade noch Akzeptablen. Zukünftig werden solch KI-Verweigerer Firmen wahrscheinlich massenweise Probleme bekommen und vom Markt verschwinden.

Bereits mit überschaubarem Budget können sichere und optimierte Apps mit lokaler KI gebaut werden, die wahre Problemlöser sind. Das Schöne an diesen optimierten Apps ist: Sie basieren auf extrem leistungsfähiger Open Source KI, einem eigenen (günstigen) KI-Server (Miete oder Kauf) und sie leiten Ihre Daten genau hierhin: An Sie und sonst nirgendwo hin.