Problemlöser im Ausnahmezustand: Wie Offline-KI Ihre Herausforderungen knackt

Kategorien: Datenschutz und Künstliche Intelligenz

Die Vorzüge einer optimierten KI für Unternehmen und die Verwaltung lassen sich sogar auf einem Laptop offline demonstrieren. Diese Offline-KI leistet für viele Anwendungsfälle mehr als jede Universalintelligenz wie ChatGPT. Sie bietet volle Datenkontrolle und läuft auch im Dauerbetrieb sehr kostengünstig.

Einleitung

Dieser Beitrag ist ein praktischer Beleg für die Möglichkeiten von Offline-KI. Doch zunächst eine kurze Einführung in Offline-KI. Sie ist schon seit einem Jahr möglich gewesen, aber erst seit kurzem derart leistungsfähig, auch für die deutsche Sprache.

Offline-KI ist eine lokal auf einem eigenen Computer oder Server laufende KI. Offline bedeutet, dass das KI-System vollständig ohne Internetverbindung auskommt. Daraus ergibt sich, dass keinerlei Daten zu Dritten geschickt werden. Folgende Vorteile bietet eine Offline-KI insbesondere:

• Unternehmen und Behörden bekommen einen Problemlöser für ihre Anwendungsfälle.
• Jederzeit können neue KI-Sprachmodelle, Stable Diffusion-Bildmodelle, Audiomodelle, Videomodelle installiert und genutzt werden.
• Selbst der Dauerbetrieb ist kostengünstig möglich. Goodbye Microsoft Azure. Goodbye Sicherheitslücken.
• Eine sich selbst verbessernde KI, die sich selbst kritisieren kann, ist praktisch möglich.
• Rechtlich einfach: Auftragsverarbeitungsverträge werden unnötig; das fragwürdige Opt-Out statt einer Einwilligungsabfrage, die ChatGPT anbietet, hat keine rechtlichen Auswirkungen mehr. Niemand muss mehr zusammenzucken, wenn wieder eine Aufsichtsbehörde ChatGPT verbietet.

Der Vollständigkeit halber sei erwähnt, dass die Programmierschnittstelle (API) von ChatGPT durchaus manchmal ihren Sinn hat. Dieser Fall tritt aber dank der Open-Source Sprachmodelle, die wöchentlich leistungsfähiger werden, immer seltener auf. Vorab: Mit einer API kann so vieles gemacht werden. Zur Illustration: Aus Ihrem Vorgabe-Prompt formt ein Sprachmodell eine Programmbeschreibung einer Bildkomposition, die dann von einem Bilderzeugungsmodell umgewandelt wird in ein Bild. Hier eine Beispielausgabe:

Für Deutsch als Sprache gibt es zudem oft bessere Sprachmodelle als ChatGPT. Entweder sind sie qualitativ besser oder günstiger. Interessenten sollten sich Claude, Command R+ und Mistral ansehen. Offline-KI macht aber mehr Spaß und ist besser für konkrete Probleme.

Wann Offline-KI und wann allgemeiner Chatbot?

Wer wissen will, wie hoch der dritthöchste Berg der Welt ist, soll ruhig ChatGPT nutzen. Auch das gelegentliche und Zusammenfassen von öffentlichen Texten zu semiprofessionellen Zwecken ist ein guter Anwendungsfall für allgemeine Chatbots. Diese Chatbots stehen auch für einen unverfänglichen Plausch zur Verfügung.

Einen Chatbot als Suchmaschinen zu nutzen, ist ein Ansatz, den anscheinend viele gut finden. Wer eine besonders leistungsfähige Suchmaschine haben möchte, ist bei Offline-KI besser afgehoben. OpenAI wird ganz sicher nicht für Sie eine bestimmte Webseite mit 5000 Unterseiten einlesen und auswerten.

Eine hohe Zuverlässigkeit von Ergebnissen ist nicht nur wünschenswert, sondern im professionellen Umfeld immer wichtig. Wer diese Zuverlässigkeit benötigt, braucht eine Offline-KI mit Mechanismen für die Qualitätssicherung.

Sensible Daten, Geschäftsgeheimnisse oder persönliche Angaben sollte niemand in ein Drittsystem von amerikanischen Anbietern eingeben. Erstens erlauben es amerikanische Gesetze wie der Cloud Act, FISA 702 oder die Executive Order 12333 amerikanischen Behörden und Geheimdiensten auf diese Daten zuzugreifen. Zweitens treten fast schon regelmäßig Sicherheitslücken in populären Chatbots und Systemen von Microsoft (Mehrheitsanteile an ChatGPT!) zutage. Drittens müssen rechtliche Beurteilungen und Regelungen getroffen werden, was nur auf dem Papier stattfindet und zudem viel Aufwand bedeutet.

Mit intelligenten KI-Lösungen können Unternehmen und Verwaltungen Herausforderungen überwinden.

Schneller, besser und leichter denn je.

Eine Offline-KI kann permanent laufen. Warum, fragen sich manche. Warum studieren Menschen 5 Jahre lang? Um besser zu werden. Genau das kann eine Offline-KI. Nur dauert diese Selbstverbesserung nicht Jahre, sondern oft Sekunden oder einige Stunden.

Was ist mit Offline-KI möglich?

Offline-KI kann sehr viel. Sogar mehr als ChatGPT. Es kommt eben auf den Anwendungsfall an. Ihre Daten, ihr Anwendungsfall. Selbst wenn Sie keine eigenen Daten haben, ist Offline-KI meist besser.

Im vorigen Abschnitt wurde ein Beispiel hierfür bereits gegeben: Das Abrufen von Informationen aus dem Internet. Auch die Suche nach Informationen im Internet mit anschließender Auswertung ist ein sehr guter Anwendungsfall für eine Offline-KI. Beispielsweise können täglich die aktuellen Nachrichten abgerufen und automatisiert mit der unternehmenseigenen KI ausgewertet werden.

Oder wie wäre es mit einer Marktanalyse oder Wettbewerbsbeobachtung? Geht von Hause aus sehr schlecht mit allgemeinen Chatbots, weil die Daten erst beschafft werden müssen. Diese Datenbeschaffung ist automatisiert leicht möglich. Wer diesen kleinen Schritt geht, ist raus aus der innovationsfeindlichen Bequemlichkeit. Zur Belohnung gibt es maximale Unabhängigkeit, volle Kontrolle und vor allem bessere Ergebnisse!

Beispiele für den Einsatz von KI in der Verwaltung:

Bürger (oder Kunden) möchten etwas beantragen. Die Suche nach dem passenden Formular oder Merkblatt kann mit KI optimal unterstützt werden. KI wird hier für die semantische Suche genutzt. Mitarbeiter der Verwaltung werden so entlastet und können produktiver arbeiten.

Ist ein Markblatt zu kompliziert, kann KI es in einfacherer Sprache zusammenfassen.

Ist ein Formular oder Antrag nur in deutsch oder englich verfügbar, der Bürger versteht aber nur ukrainisch, dann kann das Dokument mit KI übersetzt werden.

Ähnliche Anträge und Formulare zu einem gefundenen Antrag oder Formular können mit KI gefunden werden. Auch Gesetze, interne Vorgaben und Urteile zu einem Vorgang lassen sich so finden. Sachbearbeiter werden so bestmöglich unterstützt.

Analog möglich für die Bearbeitung von Schadensmeldungen, Kundenanfragen oder Support-Tickets.

Im vorigen Beitrag sind weitere gute Szenarien für Offline-KI genannt.

Belege für Offline-KI

Auf dem Mainzer Digitalkongress MADKON24 konnten Teilnehmer meines Workshops live miterleben, wie Offline-KI Ergebnisse produziert. Das fand auf meinem Laptop vor Ort und ohne Internetverbindung statt.

Das Bild zeigt Eindrücke vom MADKON24. Einen Bericht über Vorträge und Workshops, inklusive meinem, hat Peter Winninger in seinem Blog KOBLENZ DIGITAL veröffentlicht.

Auf dem Laptop wurde insbesondere gezeigt:

• Bildgenerator: Texteingabe (Prompt) erzeugt Bildausgabe
• Bildgenerator 2: Eingabebild dient als Vorgabe für die Bildstruktur. Aus dieser Vorgabe und einem Prompt entsteht ein neues Bild.
• Promptoptimierung: Der Prompt für die Bilderzeugung wurde automatisch mit Offline-KI optimiert. Danach wurde der optimierte Prompt in den Bildgenerator gegeben. Das neue Bild war ansprechender.
• Promptvarianten: Zum Prompt wurden automatisch mit Offline-KI Varianten gebildet:
  • Allgemeine Varianten, die ähnlich dem Original sind
  • Varianten, die sehr ähnlich dem Original sind
• Übersetzung: Der automatisch optimierte Prompt und die automatisch erzeugten Varianten wurden
  • übersetzt, und zwar nach
    • Englisch,
    • Spanisch,
    • Ukrainisch
  • umformuliert, und zwar
    • in Juristensprache,
    • in Piratensprache,
    • in die Sprache, die ein Fünfjähriger versteht
• zum Spaß wurde noch ein Märchen aus dem optimierten Prompt erzeugt, und zwar in zwei Varianten

Das ganze lief während des Workshops gefühlt ein Dutzend Mal durch, jedesmal mit einer einzigen anderen Eingabe und jedesmal mit vielen neuen und guten Ergebnissen.

Zur oben genannten Promptoptimierung: Diese Selbstverbesserung der KI ist möglich, indem die KI ihre eigenen Ausgaben wieder als Eingaben erhält. Was auch sehr gut funktioniert, ist die künstliche Erzeugung von Trainingsdaten durch die KI, mit denen dieselbe KI dann geschult wird. Das ist so, als würde ein Mensch sich selbst sein Fortbildungsmaterial aufschreiben können und dann dadurch besser werden.

Hier ein Beispiel für die Ausgabe des genannten Bildgenerators:

Eine Vergrößerung dieses sowieso schon nicht kleinen Bildes ist mit KI-Hochrechnen möglich. Damit kann die vierfache Größe erzeugt werden, ohne spürbare Qualitätsverluste.

Der oben genannte Bildgenerator 2 bekam nun dieses Bild als Eingabe und sollte daraus einen verrückten Wissenschaftler machen; unter Beibehaltung der Bildstruktur. Hier ist das Ergebnis aus Mainz:

Zusätzlich wurden Varianten mit einem Erdmännchen, Tiger, oft unbeliebten Politiker aus den USA, Commander Data, einer prominenten Dame und viele weitere Vorgaben durchgerechnet. Das alles in kurzer Zeit auf dem Laptop. Insgesamt wurden in einem kurzen Teil der Zeit des zweistündigen Workshops ca. 100 Bilder generiert. Als weiteres Beispiel wurde ein BIldgenerator gezeigt, dem ein bestimmter Stil antrainiert wurde. So können beispielsweise zu jedem Textprompt Bilder im Stil von IKEA-Anleitungen generiert werden.

Würde man die Anzahl