Problemlöser im Ausnahmezustand: Wie Offline-KI Ihre Herausforderungen knackt

Kategorien: Datenschutz und Künstliche Intelligenz

Die Vorzüge einer optimierten KI für Unternehmen und die Verwaltung lassen sich sogar auf einem Laptop offline demonstrieren. Diese Offline-KI leistet für viele Anwendungsfälle mehr als jede Universalintelligenz wie ChatGPT. Sie bietet volle Datenkontrolle und läuft auch im Dauerbetrieb sehr kostengünstig.

Einleitung

Dieser Beitrag ist ein praktischer Beleg für die Möglichkeiten von Offline-KI. Doch zunächst eine kurze Einführung in Offline-KI. Sie ist schon seit einem Jahr möglich gewesen, aber erst seit kurzem derart leistungsfähig, auch für die deutsche Sprache.

Offline-KI ist eine lokal auf einem eigenen Computer oder Server laufende KI. Offline bedeutet, dass das KI-System vollständig ohne Internetverbindung auskommt. Daraus ergibt sich, dass keinerlei Daten zu Dritten geschickt werden. Folgende Vorteile bietet eine Offline-KI insbesondere:

• Unternehmen und Behörden bekommen einen Problemlöser für ihre Anwendungsfälle.
• Jederzeit können neue KI-Sprachmodelle, Stable Diffusion-Bildmodelle, Audiomodelle, Videomodelle installiert und genutzt werden.
• Selbst der Dauerbetrieb ist kostengünstig möglich. Goodbye Microsoft Azure. Goodbye Sicherheitslücken.
• Eine sich selbst verbessernde KI, die sich selbst kritisieren kann, ist praktisch möglich.
• Rechtlich einfach: Auftragsverarbeitungsverträge werden unnötig; das fragwürdige Opt-Out statt einer Einwilligungsabfrage, die ChatGPT anbietet, hat keine rechtlichen Auswirkungen mehr. Niemand muss mehr zusammenzucken, wenn wieder eine Aufsichtsbehörde ChatGPT verbietet.

Der Vollständigkeit halber sei erwähnt, dass die Programmierschnittstelle (API) von ChatGPT durchaus manchmal ihren Sinn hat. Dieser Fall tritt aber dank der Open-Source Sprachmodelle, die wöchentlich leistungsfähiger werden, immer seltener auf. Vorab: Mit einer API kann so vieles gemacht werden. Zur Illustration: Aus Ihrem Vorgabe-Prompt formt ein Sprachmodell eine Programmbeschreibung einer Bildkomposition, die dann von einem Bilderzeugungsmodell umgewandelt wird in ein Bild. Hier eine Beispielausgabe:

Für Deutsch als Sprache gibt es zudem oft bessere Sprachmodelle als ChatGPT. Entweder sind sie qualitativ besser oder günstiger. Interessenten sollten sich Claude, Command R+ und Mistral ansehen. Offline-KI macht aber mehr Spaß und ist besser für konkrete Probleme.

Wann Offline-KI und wann allgemeiner Chatbot?

Wer wissen will, wie hoch der dritthöchste Berg der Welt ist, soll ruhig ChatGPT nutzen. Auch das gelegentliche und Zusammenfassen von öffentlichen Texten zu semiprofessionellen Zwecken ist ein guter Anwendungsfall für allgemeine Chatbots. Diese Chatbots stehen auch für einen unverfänglichen Plausch zur Verfügung.

Einen Chatbot als Suchmaschinen zu nutzen, ist ein Ansatz, den anscheinend viele gut finden. Wer eine besonders leistungsfähige Suchmaschine haben möchte, ist bei Offline-KI besser afgehoben. OpenAI wird ganz sicher nicht für Sie eine bestimmte Webseite mit 5000 Unterseiten einlesen und auswerten.

Eine hohe Zuverlässigkeit von Ergebnissen ist nicht nur wünschenswert, sondern im professionellen Umfeld immer wichtig. Wer diese Zuverlässigkeit benötigt, braucht eine Offline-KI mit Mechanismen für die Qualitätssicherung.

Sensible Daten, Geschäftsgeheimnisse oder persönliche Angaben sollte niemand in ein Drittsystem von amerikanischen Anbietern eingeben. Erstens erlauben es amerikanische Gesetze wie der Cloud Act, FISA 702 oder die Executive Order 12333 amerikanischen Behörden und Geheimdiensten auf diese Daten zuzugreifen. Zweitens treten fast schon regelmäßig Sicherheitslücken in populären Chatbots und Systemen von Microsoft (Mehrheitsanteile an ChatGPT!) zutage. Drittens müssen rechtliche Beurteilungen und Regelungen getroffen werden, was nur auf dem Papier stattfindet und zudem viel Aufwand bedeutet.

Mit intelligenten KI-Lösungen können Unternehmen und Verwaltungen Herausforderungen überwinden.

Schneller, besser und leichter denn je.

Eine Offline-KI kann permanent laufen. Warum, fragen sich manche. Warum studieren Menschen 5 Jahre lang? Um besser zu werden. Genau das kann eine Offline-KI. Nur dauert diese Selbstverbesserung nicht Jahre, sondern oft Sekunden oder einige Stunden.

Was ist mit Offline-KI möglich?

Offline-KI kann sehr viel. Sogar mehr als ChatGPT. Es kommt eben auf den Anwendungsfall an. Ihre Daten, ihr Anwendungsfall. Selbst wenn Sie keine eigenen Daten haben, ist Offline-KI meist besser.

Im vorigen Abschnitt wurde ein Beispiel hierfür bereits gegeben: Das Abrufen von Informationen aus dem Internet. Auch die Suche nach Informationen im Internet mit anschließender Auswertung ist ein sehr guter Anwendungsfall für eine Offline-KI. Beispielsweise können täglich die aktuellen Nachrichten abgerufen und automatisiert mit der unternehmenseigenen KI ausgewertet werden.

Oder wie wäre es mit einer Marktanalyse oder Wettbewerbsbeobachtung? Geht von Hause aus sehr schlecht mit allgemeinen Chatbots, weil die Daten erst beschafft werden müssen. Diese Datenbeschaffung ist automatisiert leicht möglich. Wer diesen kleinen Schritt geht, ist raus aus der innovationsfeindlichen Bequemlichkeit. Zur Belohnung gibt es maximale Unabhängigkeit, volle Kontrolle und vor allem bessere Ergebnisse!

Beispiele für den Einsatz von KI in der Verwaltung:

Bürger (oder Kunden) möchten etwas beantragen. Die Suche nach dem passenden Formular oder Merkblatt kann mit KI optimal unterstützt werden. KI wird hier für die semantische Suche genutzt. Mitarbeiter der Verwaltung werden so entlastet und können produktiver arbeiten.

Ist ein Markblatt zu kompliziert, kann KI es in einfacherer Sprache zusammenfassen.

Ist ein Formular oder Antrag nur in deutsch oder englich verfügbar, der Bürger versteht aber nur ukrainisch, dann kann das Dokument mit KI übersetzt werden.

Ähnliche Anträge und Formulare zu einem gefundenen Antrag oder Formular können mit KI gefunden werden. Auch Gesetze, interne Vorgaben und Urteile zu einem Vorgang lassen sich so finden. Sachbearbeiter werden so bestmöglich unterstützt.

Analog möglich für die Bearbeitung von Schadensmeldungen, Kundenanfragen oder Support-Tickets.

Im vorigen Beitrag sind weitere gute Szenarien für Offline-KI genannt.

Belege für Offline-KI

Auf dem Mainzer Digitalkongress MADKON24 konnten Teilnehmer meines Workshops live miterleben, wie Offline-KI Ergebnisse produziert. Das fand auf meinem Laptop vor Ort und ohne Internetverbindung statt.

Das Bild zeigt Eindrücke vom MADKON24. Einen Bericht über Vorträge und Workshops, inklusive meinem, hat Peter Winninger in seinem Blog KOBLENZ DIGITAL veröffentlicht.

Auf dem Laptop wurde insbesondere gezeigt:

• Bildgenerator: Texteingabe (Prompt) erzeugt Bildausgabe
• Bildgenerator 2: Eingabebild dient als Vorgabe für die Bildstruktur. Aus dieser Vorgabe und einem Prompt entsteht ein neues Bild.
• Promptoptimierung: Der Prompt für die Bilderzeugung wurde automatisch mit Offline-KI optimiert. Danach wurde der optimierte Prompt in den Bildgenerator gegeben. Das neue Bild war ansprechender.
• Promptvarianten: Zum Prompt wurden automatisch mit Offline-KI Varianten gebildet:
  • Allgemeine Varianten, die ähnlich dem Original sind
  • Varianten, die sehr ähnlich dem Original sind
• Übersetzung: Der automatisch optimierte Prompt und die automatisch erzeugten Varianten wurden
  • übersetzt, und zwar nach
    • Englisch,
    • Spanisch,
    • Ukrainisch
  • umformuliert, und zwar
    • in Juristensprache,
    • in Piratensprache,
    • in die Sprache, die ein Fünfjähriger versteht
• zum Spaß wurde noch ein Märchen aus dem optimierten Prompt erzeugt, und zwar in zwei Varianten

Das ganze lief während des Workshops gefühlt ein Dutzend Mal durch, jedesmal mit einer einzigen anderen Eingabe und jedesmal mit vielen neuen und guten Ergebnissen.

Zur oben genannten Promptoptimierung: Diese Selbstverbesserung der KI ist möglich, indem die KI ihre eigenen Ausgaben wieder als Eingaben erhält. Was auch sehr gut funktioniert, ist die künstliche Erzeugung von Trainingsdaten durch die KI, mit denen dieselbe KI dann geschult wird. Das ist so, als würde ein Mensch sich selbst sein Fortbildungsmaterial aufschreiben können und dann dadurch besser werden.

Hier ein Beispiel für die Ausgabe des genannten Bildgenerators:

Eine Vergrößerung dieses sowieso schon nicht kleinen Bildes ist mit KI-Hochrechnen möglich. Damit kann die vierfache Größe erzeugt werden, ohne spürbare Qualitätsverluste.

Der oben genannte Bildgenerator 2 bekam nun dieses Bild als Eingabe und sollte daraus einen verrückten Wissenschaftler machen; unter Beibehaltung der Bildstruktur. Hier ist das Ergebnis aus Mainz:

Zusätzlich wurden Varianten mit einem Erdmännchen, Tiger, oft unbeliebten Politiker aus den USA, Commander Data, einer prominenten Dame und viele weitere Vorgaben durchgerechnet. Das alles in kurzer Zeit auf dem Laptop. Insgesamt wurden in einem kurzen Teil der Zeit des zweistündigen Workshops ca. 100 Bilder generiert. Als weiteres Beispiel wurde ein BIldgenerator gezeigt, dem ein bestimmter Stil antrainiert wurde. So können beispielsweise zu jedem Textprompt Bilder im Stil von IKEA-Anleitungen generiert werden.

Würde man die Anzahl der mit Offline-KI im Workshop generierten Textausgaben zählen, käme man auf einige tausend Texte. Dies waren optimierte Text-Prompts, Übersetzungen, Sprachvereinfachungen und einiges mehr. Beispielsweise wurden aus Nachrichten die Keywords extrahiert. Ebenso wurden Treffer aus Suchmaschinen mit Offline-KI klassifiziert. So konnten Wissensartikel von Werbebotschaften unterschieden werden. Auch der Abruf der Treffer aus einer populären Suchmaschine (ungleich Google) kann automatisiert stattfinden.

Die kaum vorstellbaren Möglichkeiten einer Offline-KI:

Eine Eingabe, dann KI-Dauerschleife. Die KI generiert weitere Eingaben selbst und produziert so immer mehr und bessere Ergebnisse. Werden es zu viele Ergebnisse, können diese mit derselben KI kritisiert und gefiltert werden.

Jetzt möglich, sogar auf einem Laptop. Kein Wunsch, sondern Realität.

Anwesend war auch Michael Westphal von TV1. Er hat meinen Workshop (ohne mein Wissen) als Audio aufgezeichnet. Danach lieferte er mir das Transkript, mit Offline-KI. Obwohl er nur ein (gutes) Handy-Mikrofon nutzte, zahlreiche Menschen im Raum waren, der Raum groß war und mehrere Menschen sprachen, war das Ergebnis sehr gut. Ein nach dem Workshop aufgezeichnetes Interview von ihm und mir wird alsbald veröffentlicht. Auch im Video kommt KI zum Einsatz, für die Transkription und Untertitel.

Das Audiotranskript (für Sprache in einer Länge von zwei Stunden) habe ich durch die Offline-KI gejagt, um es zusammenfassen zu lassen. Danach wurde die Zusammenfassung sprachlich vereinfacht und Kernaussagen extrahiert.

Die Kernaussagen meines KI-Workshops beim Digitalkongress in Mainz sind:

• KI funktioniert so wie das menschliche Gehirn: Intelligenzfunktion des Menschen ist entschlüsselt.
• Nvidia ist der derzeit einzige praktisch verfügbare Anbieter von KI-Grafikkarten.
• Open-Source KI-Modelle sind spitze.
• Anwendungen, die früher gar nicht oder erst nach Monaten oder Jahren programmiert werden konnten, können heute in kürzester Zeit entwickelt werden, dank KI.
• KI erlaubt das gleichförmige Lösen unterschiedlicher Probleme. Das verkürzt Komplexität und Aufwand erheblich.
• KI kann gleichförmig auf unterschiedliche Datenarten angewandt werden. Datenarten sind Texte, Bilder, Audiosignale, Sensorwerte, Videos usw.
• KI-Anwendungen benötigen Daten, um sinnvolle Ergebnisse zu liefern.
• Die Herkunft dieser Daten kann sein:
  • Historische Daten, etwa Angebotsdaten aus beendeten Ausschreibungen,
  • Daten aus dem Internet (über automatisierte Suche),
  • Künstlich erzeugte Daten (Offline-KI nutzen),
  • vom Menschen erzeugte Daten.
• Zuverlässige Antworten kann nur eine KI liefern, die man anleitet. Dieses Anleiten kann automatisiert stattfinden.
• Allgemeine KI-Systeme wie ChatGPT sind qualitativ schlechter (und mittelfristig meist viel teurer) als spezielle Systeme.
• Nur die Kombination von KI und klassischer Programmierung bietet beste Ergebnisse.
• Innovation entsteht durch Verlassen der Bequemlichkeit und Lösen von Abhängigkeiten.

Die beste Lösung ist heutzutage nur noch einen kleinen Schritt entfernt.

Offline-KI veranschaulicht an Bildern

Das Beitragsbild ganz oben wurde mit einer Offline-KI generiert. Es ist in der folgenden Kollektion dreier Bilder ganz links zu sehen:

Das erste (linke) Bild wurde von einer Offline-KI aufgrund einer manuellen Vorgabe erzeugt. Das zweite Bild wurde durch Offline-KI erzeugt, die die Aufgabe hatte, die Beleuchtung anzupassen und mehr Details zum BIld hinzuzufügen. Das dritte (rechte) Bild wurde durch einen Offline-KI Bildgenerator erzeugt. Die Vorgabe waren hier:

• Eingabebild (zuvor KI-generiert, aber jedes andere Bild ist auch möglich)
• Vorgabe: Füge ein paar sehr kleine Roboter hinzu, die um die Glühbirne tanzen.

Weiterhin ist es möglich, die KI selbst zu befragen, welche anderen Prompts denn gut wären. Man muss natürlich irgendeine Vorgabe machen. Beispielsweise: Ich möchte, dass das Bild mehr Details enthält/interessanter aussieht/an Kuchen erinnert…

Je nach Offline-Bildgenerator, den man einsetzt, kann man sogar mit dem Generator chatten. Zunächst lässt man ein Bild generieren. Dann sagt man: Ersetze den Mann durch eine Frau. Auch diesen Prozess könnte man durch einen KI-Kritiker automatisieren. Am Ende entstehen x Bilder. Diese kann man entweder selbst sichten oder durch eine KI vorfiltern lassen. Die KI kann lernen, welche Bilder Ihnen gefallen. Dazu markieren Sie einfach pro Bild, ob es Ihnen gut oder nicht so gut gefällt. Die KI lernt dann anhand weniger Beispiele, was Sie haben wollen.

Der Prompt, der zum Beitragsbild führte, wurde von einer KI wie folgt optimiert:

• Original: problem solver system, intelligent, connections, bright colors
• KI-Version: Vibrant problem-solving AI, illuminating connections with radiant hues.

Danach wurde mit der KI-Version des Prompts ein Bild generiert:

Nun wurde die lokale Offline-KI instruiert, einen futuristischen Dinosaurier hinzuzufügen:

Wie jeweils zu sehen, wurden 3 Varianten generiert. Wir hätten auch 1.000 oder 100.000 Varianten generieren können. Es kostet ja nichts. Dank einer offline Bild-Kritik-KI können dann die besten 10 Bilder herausgefiltern werden. Der Mensch kann sie sich dann ansehen und schnell das beste Bild finden.

Fazit

Die Vorzüge von KI bieten sich für Unternehmen und Behörden vor allem mit einer Offline-KI.

Die Qualität ist für viele Problemstellungen einfach deutlich besser. Dies wird erreicht durch konventionelle Zusatzprogrammierung, die nur sehr wenig Aufwand verursacht. Plastisches Minibeispiel: Wie viele Buchstaben ein Wort hat, kann so am besten ermittelt werden, während ChatGPT scheitert.

Die volle Datenkontrolle ist ein weiterer wichtiger Aspekt. Lassen Sie den Juristen Ihrer Wahl doch andere Dinge tun, als das schönzureden, was nicht schön ist: ChatGPT ist unsicher, Microsoft ist unsicher (Belege in diesem Blog sowie folgend).

Fast am wichtigsten ist die strategische Bedeutung von Offline-KI. Sie kann sich selbst verbessern und selbst kritisieren. Das alles ist praktisch nur möglich, weil keine nutzungsabhängigen Entgelte anfallen. Selbst Organisationen mit großem Budget möchten gerne vorher wissen, was „es“ kosten wird. Das weiß aber niemand vorher, wenn ein Gehirn (KI) befragt wird. Klar ist, dass der sehr häufige Aufruf einer kostenpflichtigen KI-Schnittstelle, am besten noch mit umfangreichen Dokumenten, schnell teuer wird.

Innovation entsteht durch das Entfernen von Hemmnissen. Genau das ist mit Offline-KI möglich. Da die Entwicklung rasant ist, ist es ein riesiger Vorteil, dass neue LLMs einfach mal so ausgetauscht werden können. Open-Source Sprachmodelle beispielsweise sind derart hervorragend, dass sich kommerzielle Anbieter sehr warm anziehen müssen, um nicht zu frieren.

Welche Anwendungsfälle haben Sie im Unternehmen oder Ihrer Behörde oder Verwaltung? Gerne erhalten Sie eine erste Einschätzung der Machbarkeit.