Offline-KI als Chance für Unternehmen jeder Größe

Kategorien: Datenschutz und Künstliche Intelligenz

Eine Offline-KI bietet oft bessere Ergebnisse als die besten KI-Modelle, volle Kontrolle über Daten und ist in vielen Fällen wesentlich günstiger als Lösungen mit ChatGPT oder Microsoft Azure. Was ist eine Offline-KI und welche Chancen bietet sie?

Die Zukunft der Künstlichen Intelligenz

In diesem Beitrag wird eine Möglichkeit für Unternehmen beschrieben, mit einem eigenen KI-System sehr gute Ergebnisse zu erzielen und zudem die volle Kontrolle über eigene Daten zu haben. Selbst bei intensiver Nutzung dieser Unternehmens-KI bleiben die Kosten niedrig.

Diese Form von KI wird hier Offline-KI genannt.

Vorteile einer Offline-KI

Leistungsfähigkeit

Eine Offline-KI zeichnet sich durch ihre Leistungsfähigkeit aus. Sie kann große Mengen an Daten verarbeiten und analysieren, um daraus wertvolle Erkenntnisse zu gewinnen. Damit können Unternehmen bessere Entscheidungen treffen und Prozesse optimieren. Durch die Kombination mit konventionellen Methoden kann die KI auch komplexe Aufgaben lösen und Prognosen treffen. Besonders anspruchsvollen Problemstellungen können durch Hinzuziehen von Verfahren des Machine Learnings gelöst werden.

Beispiel:

Ein Unternehmen nimmt an Ausschreibungen teil und hat eine Reihe von Daten aus bisherigen Ausschreibungen gesammelt. Für die nächste Ausschreibung möchte das Unternehmen nun wissen, welcher Angebotspreis mit einer guten Wahrscheinlichkeit zum Zuschlag führen wird.

Diese Art von Problem kann durch eine Offline-KI viel besser gelöst werden als durch Allgemeinintelligenzen wie ChatGPT. Die Gründe sind insbesondere:

• Spezifische Aufgabenstellung, die nicht universell gelöst werden kann (und wenn irgendwann mal doch, dann sind die Menschen nicht mehr die intelligenteste Existenzform auf diesem Planeten).
• Form von Texten und Begriffen, die spezifisch für Ihr Unternehmens und Ihre Branche sind.
• Große Menge an Daten, die in die KI fließen müssen. Dadurch stellt sich bei Cloud-Diensten wie Microsoft Azure oder der ChatGPT-API die Frage nach den Kosten.
• Möglicherweise: Bedürfnis nach Geheimhaltung Ihrer Daten oder Vertraulichkeit Ihrer Daten.

Faustregel: Die hohe Leistungsfähigkeit der Offline-KI kommt vor allem bei Anwendungsfällen zum Tragen, die nicht so trivial erscheinen wie die Eingabe eines Textes oder weniger Texte in eine Chatbox.

Datenkontrolle

Eine Offline-KI schützt die Daten, die Ihnen gehören. Das können Patentanmeldungen oder Geschäftsgeheimnisse sein. Oft wurde aber auch vertraglich Vertraulichkeit für bestimmte Daten vereinbart. Diese Daten sollten besser nicht bei amerikanischen Unternehmen landen (Cloud Act, EO 12333, FISA 702). Manche Kunden möchten nicht, dass deren Daten, die an Sie gegeben werden, bei Dritten wie Google, Microsoft, Meta oder OpenAI landen. Alle diese Unternehmen verwenden Nutzerdaten für das Training von deren eigener KI.

Eine Offline-KI hält die Daten bei Ihnen. Daher kommt auch der Name dieser KI: Sie ist prinzipiell ohne Internetverbindung ablauffähig. Das bedeutet, dass alle Datenflüsse voll kontrollierbar sind. Sie entscheiden, welche Daten wohin fließen. Selbstverständlich hat das KI-System Zugang zum Internet, wenn nötig. Beispielsweise, wenn Videos für die KI automatisiert heruntergeladen werden sollen oder wenn die KI Internetrecherchen durchführen soll.

Somit erledigen sich viele rechtliche Fragen. Auftragsverarbeitungsverträge mit amerikanischen Konzernen müssen nicht mehr abgeschlossen und nicht mehr rechtlich bewertet werden. Opt-Outs wegen der Nutzung der Eingabedaten durch den KI-Anbieter entfallen.

Weil eine Offline-KI nicht darauf angewiesen ist, zuvor eingelesene Inhalte widerzugeben, lassen sich Probleme mit dem Urheberrechts oder der DSGVO vermeiden. Eine generative KI wie ChatGPT, die nicht "gated" ist, ist hingegen fast schon ein Garant für Urheberrechtsverletzungen.

Günstige Kosten

Eine unternehmenseigene Offline-KI ist nicht nur leistungsfähig und sicher, sondern auch kosteneffizient. Einmal eingerichtet, ist es egal, ob Ihr KI-System nur 3 Stunden pro Woche oder 24 Stunden am Tag und jeden Tag im Jahr mit voller Last läuft.

Wer einmal die Kosten für Cloud-Plattformen wie Azure angesehen hat, findet vielleicht diesen Kostenaspekt besonders reizvoll.

Offline-KI jetzt ausprobieren.

Optimierbar und mit voller Datenkontrolle. Günstig auch im Dauerbetrieb.
Alles aus Deutschland: Für Ihr Unternehmen, ohne ChatGPT, ohne Azure.

Jetzt ausprobieren

Aber bereits die Nutzung der ChatGPT-API wirft Fragen bezüglich der Kosten auf, obwohl sie als niedrigpreisig bezeichnet werden kann. Weil eine KI etwas Unscharfes ist, ist a priori nicht klar, wie oft und mit welchem Datenmaterial die KI für ein gewünschtes Ergebnis aufgerufen werden muss. Somit spielt es keine Rolle, ob 100 Aufrufe 1 Euro oder 10 Euro kosten. Alleine die Ungewissheit über die Kosten ist ein Hemmschuh.

Soll ein System viele Daten verarbeiten, etwa die Dokumente Ihres Unternehmens oder alle hessischen Gesetze, dann wird auch der häufige Aufruf einer sehr günstigen API schnell zu teuer und unplanbar.

Aus dem Kostenaspekt ergibt sich auch der nächste Vorteil einer Offline-KI für Unternehmen.

Innovationskraft

Innovation ist ein Prozess. Ein guter Prozess läuft möglichst kontinuierlich und jederzeit, wenn nötig.

Ein 24/7 Betrieb ist die perfekte Voraussetzung für Innovation. 24/7 bedeutet, dass die Unternehmens-KI jederzeit und in vollem Umfang bereitsteht und am besten permanent arbeitet.

Technisch können alle Cloud-Dienste dauerhaft genutzt werden. Die Kosten hierfür sind aber oft unverschämt hoch und oft unvorhersehbar. Neben Ihrem Geld liefern Sie zudem Ihre Daten beim Cloud-Anbieter ab, der sich dafür nicht einmal bedankt.

Eine Offline-KI kostet immer gleich wenig, egal, wie oft sie genutzt wird. Die Kosten belaufen sich im Wesentlichen auf:

• Beschaffung Hardware: Entweder Miete oder Kauf (eigenes Rechenzentrum oder Colocation, also eigenen Server in fremdem Rechenzentrum einbinden). Ein professioneller KI-Server ist bereits für 5000 Euro erhältlich. Bei der Miete entstehen Kosten von unter 1000 Euro pro Monat. Für einige KI-Anwendungsfälle sind die Kosten für die Server-Miete sogar vernachlässigbar.
• Einrichtung System: Dieser Einmalaufwand ist abhängig von Ihrem Anwendungsfall. Er ist überschaubar. Falls Sie einen fertigen KI-Server mieten, sind die Kosten noch geringer.
• Programmierung KI: Abhängig von Ihrem Anwendungsfall. Oft sehr effizient möglich. Sehen Sie bitte folgendes Beispiel: Der Autor dieses Beitrags wurde für eine 3sat-Dokumentation interviewt. Für die Doku wurde vom Autor innerhalb weniger Stunden ein KI-System programmiert, welches Einbrecher in Überwachungsvideos erkennen und markieren kann. Siehe 3sat-Dokumentation ab Minute 33:16.

Ein paar Beispiele für innovative Vorhaben, die mit einer Offline-KI möglich sind:

• Dokumentensuche: Dokumente können auch Support-Tickets oder Mails von Kunden sein. Finden Sie die am besten passenden Dokumente zu Ihrer Suchanfrage. Die Suche kann auch in Form einer natürlichsprachig formulierten Frage gestellt werden.
• Weltwissen finden und auswerten: Über einen Hintergrundprozess wird das Internet nach Ihrer Suchanfrage durchsucht. Ziel ist es, mehr Treffer als relevant wären, zu erhalten. Im Folgeschritt werden diese oft 1000 Treffer in eine Offline-KI gegeben. In einem mehrstufigen Prozess, der leicht programmierbar ist, werden zunächst die offensichtlich irrelevanten Treffer aussortiert. Dann folgt das Crawling der übrig gebliebenen Treffer. Es werden also die vollen Ergebnisse ausgelesen und wieder an die Offline-KI gegeben. Diese analysiert dann die Weltwissen-Texte entsprechend Ihrer Vorgabe. Beispiele:
  • SEO-Analysen
  • Adressen extrahieren
  • Wettbewerb analysieren
  • Aktuelle Innovationen ermitteln
  • Trends erkennen
  • Bauvorhaben finden
• Übersetzung in andere Sprachen: Ganz nebenbei erhalten Sie einen leistungsfähigen Übersetzer. Für Perfektion sollten Sie DEEPL o.ä. nutzen. Wenn jedoch sehr gute (!) Ergebnisse ausreichen, dann bekommen Sie diese gratis und in beliebiger Menge mit einer Offline-KI geschenkt. Denken Sie an manuelle oder KI-generierte Arbeitsergebnisse, die ein Kollege in Spanien, Frankreich oder aus der Ukraine erhalten und verstehen soll.
• Audiotranskription: Wandelt Sprache aus Videos oder Podcasts in Text um. Funktioniert besser als jede beliebig verfügbare KI-Lösung. Die Offline-KI verwendet ein eigenes Wörterbuch. Sie kann automatisch beliebig viele Videos oder Podcast-Folgen herunterladen und transkribieren. Ein Prompt-Tuning ist nicht erforderlich.
• Bilder generieren: Im Gegensatz zu Diensten wie Midjourney oder DALL-E kann Ihre Offline-KI tausende Bilder generieren. Eigene Stile und die automatische Optimierung Ihres Bild-Prompts sind möglich. Dinge wie Urheberrechtsprüfung sind ebenfalls gut integrierbar.
• Objekte erkennen: Entweder wollen Sie auf Videos oder auf Bildern bestimmte Objekte erkennen. Es ist auch möglich, Produktionsfehler im Fertigungsprozess zu finden. Hierfür ist ein einmaliges Training Ihrer Offline-KI mit den Bildern Ihrer Fertigungsteile wichtig. Sie sehen hieran bereits, dass dies mit einer Cloud-Lösung schwierig werden dürfte. Zumal eine spezifische Optimierung sinnvoll erscheint und erhebliche Kosten sparen kann.

Der vielleicht wichtigste Aspekt, der über allen konkreten Problemstellungen liegt, ist jedoch ein anderer.

Selbstverbesserung durch Selbstkritik der KI

Mit einer Offline-KI ist sogar eine Selbstverbesserung Ihres KI-Systems möglich.

Um das zu verstehen, muss man wissen, dass KI-Systeme nahezu genauso unzuverlässig sind wie der Mensch. Auch hochintelligente Menschen sind in vielen Wissensgebieten oder Lebensbereichen dumm. Nehmen Sie Albert Einstein. Wenn er noch leben würde und Sie ihn danach fragen würden, wie man Holz für den Außenbereich am besten behandelt, würden Sie womöglich keine gute Antwort bekommen.

Also muss man davon ausgehen, dass die Antwort beispielsweise eines KI-Sprachmodells nicht gut genug ist. Es reicht allerdings, wenn die KI-Antwort halbwegs gut ist, womöglich auch (noch) falsch.

Nehmen wir als Beispiel die Extraktion von Wissen aus beliebigen Texten. Solche Texte können den Dokumenten aus Ihrem Unternehmen oder Ihrer Behörde entstammen, oder im Internet zu finden sein.

Besonders charmant ist die Wissensextraktion aus dem Internet. Der Datenschatz ist unendlich. Das einzige, was hierfür benötigt wird, ist eine Schnittstelle zu einer Suchmaschine. Diese Schnittstelle gibt es, und zwar in ebenso kostenschonender Weise, wie sie die Offline-KI selbst bietet.