Offline-KI als Chance für Unternehmen jeder Größe

Kategorien: Datenschutz und Künstliche Intelligenz

Eine Offline-KI bietet oft bessere Ergebnisse als die besten KI-Modelle, volle Kontrolle über Daten und ist in vielen Fällen wesentlich günstiger als Lösungen mit ChatGPT oder Microsoft Azure. Was ist eine Offline-KI und welche Chancen bietet sie?

Die Zukunft der Künstlichen Intelligenz

In diesem Beitrag wird eine Möglichkeit für Unternehmen beschrieben, mit einem eigenen KI-System sehr gute Ergebnisse zu erzielen und zudem die volle Kontrolle über eigene Daten zu haben. Selbst bei intensiver Nutzung dieser Unternehmens-KI bleiben die Kosten niedrig.

Diese Form von KI wird hier Offline-KI genannt.

Vorteile einer Offline-KI

Leistungsfähigkeit

Eine Offline-KI zeichnet sich durch ihre Leistungsfähigkeit aus. Sie kann große Mengen an Daten verarbeiten und analysieren, um daraus wertvolle Erkenntnisse zu gewinnen. Damit können Unternehmen bessere Entscheidungen treffen und Prozesse optimieren. Durch die Kombination mit konventionellen Methoden kann die KI auch komplexe Aufgaben lösen und Prognosen treffen. Besonders anspruchsvollen Problemstellungen können durch Hinzuziehen von Verfahren des Machine Learnings gelöst werden.

Beispiel:

Ein Unternehmen nimmt an Ausschreibungen teil und hat eine Reihe von Daten aus bisherigen Ausschreibungen gesammelt. Für die nächste Ausschreibung möchte das Unternehmen nun wissen, welcher Angebotspreis mit einer guten Wahrscheinlichkeit zum Zuschlag führen wird.

Diese Art von Problem kann durch eine Offline-KI viel besser gelöst werden als durch Allgemeinintelligenzen wie ChatGPT. Die Gründe sind insbesondere:

• Spezifische Aufgabenstellung, die nicht universell gelöst werden kann (und wenn irgendwann mal doch, dann sind die Menschen nicht mehr die intelligenteste Existenzform auf diesem Planeten).
• Form von Texten und Begriffen, die spezifisch für Ihr Unternehmens und Ihre Branche sind.
• Große Menge an Daten, die in die KI fließen müssen. Dadurch stellt sich bei Cloud-Diensten wie Microsoft Azure oder der ChatGPT-API die Frage nach den Kosten.
• Möglicherweise: Bedürfnis nach Geheimhaltung Ihrer Daten oder Vertraulichkeit Ihrer Daten.

Faustregel: Die hohe Leistungsfähigkeit der Offline-KI kommt vor allem bei Anwendungsfällen zum Tragen, die nicht so trivial erscheinen wie die Eingabe eines Textes oder weniger Texte in eine Chatbox.

Datenkontrolle

Eine Offline-KI schützt die Daten, die Ihnen gehören. Das können Patentanmeldungen oder Geschäftsgeheimnisse sein. Oft wurde aber auch vertraglich Vertraulichkeit für bestimmte Daten vereinbart. Diese Daten sollten besser nicht bei amerikanischen Unternehmen landen (Cloud Act, EO 12333, FISA 702). Manche Kunden möchten nicht, dass deren Daten, die an Sie gegeben werden, bei Dritten wie Google, Microsoft, Meta oder OpenAI landen. Alle diese Unternehmen verwenden Nutzerdaten für das Training von deren eigener KI.

Eine Offline-KI hält die Daten bei Ihnen. Daher kommt auch der Name dieser KI: Sie ist prinzipiell ohne Internetverbindung ablauffähig. Das bedeutet, dass alle Datenflüsse voll kontrollierbar sind. Sie entscheiden, welche Daten wohin fließen. Selbstverständlich hat das KI-System Zugang zum Internet, wenn nötig. Beispielsweise, wenn Videos für die KI automatisiert heruntergeladen werden sollen oder wenn die KI Internetrecherchen durchführen soll.

Somit erledigen sich viele rechtliche Fragen. Auftragsverarbeitungsverträge mit amerikanischen Konzernen müssen nicht mehr abgeschlossen und nicht mehr rechtlich bewertet werden. Opt-Outs wegen der Nutzung der Eingabedaten durch den KI-Anbieter entfallen.

Weil eine Offline-KI nicht darauf angewiesen ist, zuvor eingelesene Inhalte widerzugeben, lassen sich Probleme mit dem Urheberrechts oder der DSGVO vermeiden. Eine generative KI wie ChatGPT, die nicht "gated" ist, ist hingegen fast schon ein Garant für Urheberrechtsverletzungen.

Günstige Kosten

Eine unternehmenseigene Offline-KI ist nicht nur leistungsfähig und sicher, sondern auch kosteneffizient. Einmal eingerichtet, ist es egal, ob Ihr KI-System nur 3 Stunden pro Woche oder 24 Stunden am Tag und jeden Tag im Jahr mit voller Last läuft.

Wer einmal die Kosten für Cloud-Plattformen wie Azure angesehen hat, findet vielleicht diesen Kostenaspekt besonders reizvoll.

Offline-KI jetzt ausprobieren.

Optimierbar und mit voller Datenkontrolle. Günstig auch im Dauerbetrieb.
Alles aus Deutschland: Für Ihr Unternehmen, ohne ChatGPT, ohne Azure.

Jetzt ausprobieren

Aber bereits die Nutzung der ChatGPT-API wirft Fragen bezüglich der Kosten auf, obwohl sie als niedrigpreisig bezeichnet werden kann. Weil eine KI etwas Unscharfes ist, ist a priori nicht klar, wie oft und mit welchem Datenmaterial die KI für ein gewünschtes Ergebnis aufgerufen werden muss. Somit spielt es keine Rolle, ob 100 Aufrufe 1 Euro oder 10 Euro kosten. Alleine die Ungewissheit über die Kosten ist ein Hemmschuh.

Soll ein System viele Daten verarbeiten, etwa die Dokumente Ihres Unternehmens oder alle hessischen Gesetze, dann wird auch der häufige Aufruf einer sehr günstigen API schnell zu teuer und unplanbar.

Aus dem Kostenaspekt ergibt sich auch der nächste Vorteil einer Offline-KI für Unternehmen.

Innovationskraft

Innovation ist ein Prozess. Ein guter Prozess läuft möglichst kontinuierlich und jederzeit, wenn nötig.

Ein 24/7 Betrieb ist die perfekte Voraussetzung für Innovation. 24/7 bedeutet, dass die Unternehmens-KI jederzeit und in vollem Umfang bereitsteht und am besten permanent arbeitet.

Technisch können alle Cloud-Dienste dauerhaft genutzt werden. Die Kosten hierfür sind aber oft unverschämt hoch und oft unvorhersehbar. Neben Ihrem Geld liefern Sie zudem Ihre Daten beim Cloud-Anbieter ab, der sich dafür nicht einmal bedankt.

Eine Offline-KI kostet immer gleich wenig, egal, wie oft sie genutzt wird. Die Kosten belaufen sich im Wesentlichen auf:

• Beschaffung Hardware: Entweder Miete oder Kauf (eigenes Rechenzentrum oder Colocation, also eigenen Server in fremdem Rechenzentrum einbinden). Ein professioneller KI-Server ist bereits für 5000 Euro erhältlich. Bei der Miete entstehen Kosten von unter 1000 Euro pro Monat. Für einige KI-Anwendungsfälle sind die Kosten für die Server-Miete sogar vernachlässigbar.
• Einrichtung System: Dieser Einmalaufwand ist abhängig von Ihrem Anwendungsfall. Er ist überschaubar. Falls Sie einen fertigen KI-Server mieten, sind die Kosten noch geringer.
• Programmierung KI: Abhängig von Ihrem Anwendungsfall. Oft sehr effizient möglich. Sehen Sie bitte folgendes Beispiel: Der Autor dieses Beitrags wurde für eine 3sat-Dokumentation interviewt. Für die Doku wurde vom Autor innerhalb weniger Stunden ein KI-System programmiert, welches Einbrecher in Überwachungsvideos erkennen und markieren kann. Siehe 3sat-Dokumentation ab Minute 33:16.

Ein paar Beispiele für innovative Vorhaben, die mit einer Offline-KI möglich sind:

• Dokumentensuche: Dokumente können auch Support-Tickets oder Mails von Kunden sein. Finden Sie die am besten passenden Dokumente zu Ihrer Suchanfrage. Die Suche kann auch in Form einer natürlichsprachig formulierten Frage gestellt werden.
• Weltwissen finden und auswerten: Über einen Hintergrundprozess wird das Internet nach Ihrer Suchanfrage durchsucht. Ziel ist es, mehr Treffer als relevant wären, zu erhalten. Im Folgeschritt werden diese oft 1000 Treffer in eine Offline-KI gegeben. In einem mehrstufigen Prozess, der leicht programmierbar ist, werden zunächst die offensichtlich irrelevanten Treffer aussortiert. Dann folgt das Crawling der übrig gebliebenen Treffer. Es werden also die vollen Ergebnisse ausgelesen und wieder an die Offline-KI gegeben. Diese analysiert dann die Weltwissen-Texte entsprechend Ihrer Vorgabe. Beispiele:
  • SEO-Analysen
  • Adressen extrahieren
  • Wettbewerb analysieren
  • Aktuelle Innovationen ermitteln
  • Trends erkennen
  • Bauvorhaben finden
• Übersetzung in andere Sprachen: Ganz nebenbei erhalten Sie einen leistungsfähigen Übersetzer. Für Perfektion sollten Sie DEEPL o.ä. nutzen. Wenn jedoch sehr gute (!) Ergebnisse ausreichen, dann bekommen Sie diese gratis und in beliebiger Menge mit einer Offline-KI geschenkt. Denken Sie an manuelle oder KI-generierte Arbeitsergebnisse, die ein Kollege in Spanien, Frankreich oder aus der Ukraine erhalten und verstehen soll.
• Audiotranskription: Wandelt Sprache aus Videos oder Podcasts in Text um. Funktioniert besser als jede beliebig verfügbare KI-Lösung. Die Offline-KI verwendet ein eigenes Wörterbuch. Sie kann automatisch beliebig viele Videos oder Podcast-Folgen herunterladen und transkribieren. Ein Prompt-Tuning ist nicht erforderlich.
• Bilder generieren: Im Gegensatz zu Diensten wie Midjourney oder DALL-E kann Ihre Offline-KI tausende Bilder generieren. Eigene Stile und die automatische Optimierung Ihres Bild-Prompts sind möglich. Dinge wie Urheberrechtsprüfung sind ebenfalls gut integrierbar.
• Objekte erkennen: Entweder wollen Sie auf Videos oder auf Bildern bestimmte Objekte erkennen. Es ist auch möglich, Produktionsfehler im Fertigungsprozess zu finden. Hierfür ist ein einmaliges Training Ihrer Offline-KI mit den Bildern Ihrer Fertigungsteile wichtig. Sie sehen hieran bereits, dass dies mit einer Cloud-Lösung schwierig werden dürfte. Zumal eine spezifische Optimierung sinnvoll erscheint und erhebliche Kosten sparen kann.

Der vielleicht wichtigste Aspekt, der über allen konkreten Problemstellungen liegt, ist jedoch ein anderer.

Selbstverbesserung durch Selbstkritik der KI

Mit einer Offline-KI ist sogar eine Selbstverbesserung Ihres KI-Systems möglich.

Um das zu verstehen, muss man wissen, dass KI-Systeme nahezu genauso unzuverlässig sind wie der Mensch. Auch hochintelligente Menschen sind in vielen Wissensgebieten oder Lebensbereichen dumm. Nehmen Sie Albert Einstein. Wenn er noch leben würde und Sie ihn danach fragen würden, wie man Holz für den Außenbereich am besten behandelt, würden Sie womöglich keine gute Antwort bekommen.

Also muss man davon ausgehen, dass die Antwort beispielsweise eines KI-Sprachmodells nicht gut genug ist. Es reicht allerdings, wenn die KI-Antwort halbwegs gut ist, womöglich auch (noch) falsch.

Nehmen wir als Beispiel die Extraktion von Wissen aus beliebigen Texten. Solche Texte können den Dokumenten aus Ihrem Unternehmen oder Ihrer Behörde entstammen, oder im Internet zu finden sein.

Besonders charmant ist die Wissensextraktion aus dem Internet. Der Datenschatz ist unendlich. Das einzige, was hierfür benötigt wird, ist eine Schnittstelle zu einer Suchmaschine. Diese Schnittstelle gibt es, und zwar in ebenso kostenschonender Weise, wie sie die Offline-KI selbst bietet.

Somit kann theoretisch permanent das Internet nach interessanten Inhalten abgegrast werden. Permanent können diese Inhalte dann mit einer Offline-KI analysiert werden. Die Offline-KI korrigiert dabei permanent selbst Ihre eigenen Antworten, wenn nötig. Permanent können die Ergebnisse dann in andere Sprachen übersetzt werden.

Zur Illustration, hier ein Beispiel, bei dem aus einem Dokument die Kernaussagen extrahiert werden sollen. Die KI liefert beispielsweise eine Liste mit 5 Kernaussagen zu einem Dokument (aus dem Internet oder von Ihrem Unternehmen). Eine von der KI extrahierte Kernaussage zum Dr. DSGVO-Blogartikel Cookies sind keine Textdateien lautet:

"Im Dokument wird beschrieben, warum Cookies keine Textdateien sind und dass Cookies vielmehr Datensätze sind".

1. Version einer Kernausage, die mit einer Offline-KI aus dem genannten Dokument extrahiert wurde.

Diese Antwort ist zwar richtig, aber kann nicht eigenständig genutzt werden, weil die Antwort auf das eingelesene Dokument verweist. Was wir hier wollen, sind eigenständige Kernaussagen.

Somit wäre zur extrahierten Kernaussage die Frage an die KI: "Prüfe, ob die folgende Antwort eigenständig verständlich ist. Wenn die Antwort eigenständlich verständlich ist, antworte mit 'OK'. Wenn die Antwort nicht eigenständig verständlich ist, formuliere die Antwort so um, dass sie eigenständig verständlich ist."

Die Offline-KI Antwortet dann mit einer umformulierten Antwort:

"Cookies sind keine Textdateien. Cookies sind Datensätze."

2. Version einer Kernausage, die mit einer Offline-KI aus dem genannten Dokument extrahiert wurde.

Diese Kernaussage ist korrekt extrahiert und eigenständig verständlich. Auf gleiche Weise könnte man KI-Antworten von derselben KI

• auf Rechtschreibfehler prüfen und diese durch die KI selbst korrigieren lassen,
• in andere Sprache übersetzen lassen, (hier reale Ergebnisse, auf die Schnelle mit derselben KI erzeugt):
  • Spanisch: Las cookies no son archivos de texto. Las cookies son conjuntos de datos.
  • Ukraninisch: Кукі не є текстовими файлами. Кукі – це набори даних.
  • Polnisch: Ciasteczka nie są plikami tekstowymi. Ciasteczka są zestawami danych.
  • Aserbaidschanisch: Kukilər mətn faylları deyil. Kukilər məlumat dəstləridir. (DEEPL kennt diese Sprache nicht! Quer-Check fand mit weiterem KI-Sprachmodell statt)
• in einer einfachere Sprache ausgeben lassen,
• zusammenfassen lassen,
• in den Sprachstil und die Länge eines Social Media Beitrags bringen,
• …

Auch können mehrere Blog-Beiträge eingelesen und daraus dann ein Beitrag gemacht werden. Alles mit Kosten 0 Euro.

Manche Antworten würde man mit ChatGPT direkt erhalten, für die die Offline-KI zwei Prompts benötigt. Der Unterschied ist, dass die Offline-KI ohne Zusatzkosten noch 100 weitere Prompts pro Dokument gestattet, während nutzungsabhängige Plattformen wie die von OpenAI oder Microsoft für mehr Aufrufe mehr Geld kosten. Der zweite Unterschied ist die Datensicherheit. Die Offline-KI arbeitet bei Ihnen auf Ihrem Server und schenkt Daten nicht an Dritte, die sich darüber freuen würden und immer mächtiger werden würden.

Fassen wir zusammen, was Selbstverbesserung bedeutet:

• Ihre Unternehmens-KI generiert Antworten am Laufenden Band.
• Ihre Unternehmens-KI prüft sich selbst ("Selbstkritik")
• Ihre Unternehmens-KI verbessert sich selbst, wenn nötig ("Selbstverbesserung")

Auf die Spitze treiben lässt sich das Ganze durch Selbstverbesserung der KI selbst (also nicht nur einzelner Antworten). Dies ist jetzt schon möglich, und zwar sogar auf einem KI-Laptop. Dafür wird das Ergebnis, welches die KI generiert und selbst verbessert hat, als Trainingsdatensatz in dieselbe KI eingekippt. Die Trainingsdatensätze werden dann zur Erschaffung einer neuen Version der KI verwendet. Dies wird als Finetuning bezeichnet. Die neue, verbesserte Version der KI verbessert sich nun selbst wieder weiter. Der Prozess stoppt, wenn es auf Grundlage der vorhandenen Daten und der gegebenen Aufgabe nichts mehr zu verbessern gibt oder das KI-Modell an seine Grenzen gestoßen ist. Der erste Fall, die Verfügbarkeit der Daten bzw. die Aufgabenstellung, ist der wahrscheinlichere für das Ende der Selbstverbesserbarkeit. Nach "pefekt" kommt "?".

Ein weiterer riesiger Vorteil der Offline-KI: Sie können ganze Prozessketten damit kombinieren. Versuchen Sie einmal, ChatGPT zu befehlen, eine ganze Webseite mit 500 Unterseiten einzulesen und dann aus den eingelesenen Inhalten alle relevanten Keywords, Themen und Kernaussagen zu extrahieren. Dies scheitert bereits daran, dass OpenAI gar nicht bereit dazu ist, für Ihr Unternehmen für 20 Dollar pro Monat "das gesamte Internet" einzuscannen. Selbst die Nutzung der ChatGPT-API für 500 umfangreichere Dokumente (nachdem man sie selbst eingelesen hat) macht wenig Spaß, weil die Kosten sich aus der Intensität der Nutzung ergeben.

Fazit

Eine Offline-KI bietet unendliche Möglichkeiten und Chancen für deutsche Unternehmen. Mittlerweile sind KI-Sprachmodelle auch für die deutsche Sprache hervorragend. Vor allem existieren kleinere Sprachmodelle, die diese Vorzüge aufweisen.

Somit können Unternehmen in sehr kostengünstiger und datenfreundlicher Weise eigene KI-Systeme betreiben. Diese KI-Systeme lohnen sich immer dann, wenn es nicht nur darum geht, ab und zu mal einen Prompt in eine Chatbox einzugeben. Die Leistungsfähigkeit einer eigener KI ist oft weit höher als die der besten allgemeinen KI-Systeme der Welt.

Offline-KI lohnt sich dann, wenn es um viele Daten oder Dokumente geht, wenn es um eine intensive Nutzung geht, wenn es um volle Datenkontrolle geht, wenn es um das Einlesen von Wissen aus dem Internet geht oder (!) wenn Ihr spezifischer Anwendungsfall bestmöglich mit KI gelöst werden soll

Bereits realisierte Showcases für Offline-KI (Auszug):

• Gesetzestexte zusammenfassen und vereinfachen
• Bilder generieren (auf KI-Laptop)
• Kommunikation intelligent vereinfachen
• Frage-Antwort-System mit zuverlässigen Antworten

Kurz gesagt, lohnt sich eine Offline-KI für Ihr Unternehmen, wenn Sie eine artikulierbare Problemstellung haben. Fragen Sie bei Bedarf gerne nach, um mehr zur Machbarkeit für Ihre Problemstellung zu erfahren.