Kellergespräch: Revolutionäre Offline-KI, unbesiegbar & sicher

Kategorien: Datenschutz und Künstliche Intelligenz

Offline-KI ist oft besser als ChatGPT, bietet volle Datenkontrolle und ist günstig. Die häufigsten Fragen und Antworten zu Offline-KI sind im Video-Interview und in diesem Beitrag genannt. Das Video entstand auf dem Mainzer Digitalkongress MADKON24.

Eine optimierte KI, die bessere Ergebnisse liefert als ChatGPT. Das ist keine Vision, sondern Wirklichkeit. Diese Art von KI wird Offline-KI genannt. Sie läuft bei Bedarf ohne Internetverbindung, sendet keine Daten zu Dritten und kann dauerhaft ohne nennenswerte Kosten betrieben werden.

Mehr Spaß mit Offline-KI!

Offline-KI kann für Unternehmen und Behörden mehr leisten als ChatGPT.

Mehr Infos im Video und im Beitrag.

Im folgenden Video werden wichtige Fragen zur Offline-KI beantwortet. Für KI gehen wir sogar in den Keller. Wir, das sind Michael Westphal von TV1/videotaxi und Dr. Klaus Meffert (Autor dieses Beitrags, IT Logic GmbH).

Einen ersten Einblick in Offline-KI geben die folgenden Informationen auch außerhalb des Videos.

Was ist Offline-KI?

Eine Offline-KI ist ein KI-System, das auf eigener Hardware installiert ist.

Die Hardware kann gemietet oder gekauft werden. Beim Hardware-Kauf kann der KI-Server entweder in eine eigene IT-Infrastruktur eingebettet oder via Colocation in einem Rechenzentrum untergebracht werden.

Auch auf ausgesuchten Arbeitsplatzrechnern kann Offline-KI laufen. Sogar auf Laptops ist dies möglich.

Als Software werden sehr leistungsfähige Open-Source KI-Modelle und KI-Bibliotheken verwendet. Sie müssen sich nicht darum kümmern. Einmal installiert, kann Ihr KI-Server genutzt werden.

Was kann Offline-KI?

Alles, was mit KI heutzutage möglich ist. Das funktioniert mittlerweile (seit kurzem!) sogar sehr gut auch für die deutsche Sprache.

Offline-KI kann optimiert werden. Es ist Ihr Anwendungsfall und somit Ihre Lösung. Ihre Lösung kann bestmöglich sein, im Gegensatz zu einem Universalsystem wie ChatGPT.

Was sind die Vorteile von Offline-KI?

Hier die wichtigsten Vorteile:

• Offline-KI liefert bessere Ergebnisse als allgemeine KI-Systeme.
• Sie haben die volle Datenkontrolle (auch Ihre Geschäftsgeheimnisse sind sicher).
• Bei Bedarf können sehr leicht neue und bessere KI-Modelle eingesetzt werden.
• Die Kosten sind fix und niedrig.
• Ihr KI-System kann dauerhaft laufen und selbst besser werden.
• Sie sind unabhängig von OpenAI und anderen (Preiserhöhungen, Nutzungsbedingungen etc.).
• Auch die ChatGPT-Schnittstelle kann für unverfängliche Daten verwendet werden.

Manche glauben es vielleicht nicht. Aber mit wenig Aufwand kann eine Offline-KI deutlich bessere Ergebnisse liefern als jedes Riesenhirn wie ChatGPT. Die geheimen Zutaten lauten: Finetuning mit Trainingsdaten sowie ein Rahmenprogramm, das sich um den nichtkreativen Teil kümmert. Trainingsdaten sind entweder vorhanden oder werden – fast schon ein Wunder – von der KI selbst erzeugt.

Ist Offline-KI von der Außenwelt abgeschnitten?

Nein. Offline bezieht sich auf die KI selbst. Sie benötigt keine Internetverbindung und muss keine Daten irgendwo hin schicken.

Eine Offline-KI kann Daten aus dem Internet abrufen, mit anderen IT-Systemen kommunizieren oder Daten bei Bedarf an Dritte schicken. Was mit den Daten passiert und ob sie lokal bleiben (müssen) entscheiden alleine Sie.

Was ist der Unterschied zu ChatGPT?

ChatGPT ist ein Universalsystem, das auf hunderten Servern gleichzeitig läuft, um Antworten geben zu können. Es enthält viel Ballast, der generell für alle einfach nur Ballast ist. Beispielsweise die vielen Sprachen oder das viele Wissen, das niemand insgesamt benötigt.

ChatGPT kann oft bemerkenswert auf allgemeine Fragen antworten. Andererseits scheitert ChatGPT bei speziellen Problemstellungen, kennt Unternehmenswissen nicht, kann nicht das Internet für Sie abgrasen oder halluziniert. Kein Wunder, denn Albert Einstein könnte wohl auch nicht gut erklären, wie man ein Regal am besten an der Wand befestigt.

Die Zukunft der KI ist offline: Hohe Sicherheit und Leistung ohne Cloud.

ChatGPT ist ein Cloud-Dienst eines amerikanischen Unternehmens, an dem auch Microsoft beteiligt ist. Sicherheit, Vertraulichkeit, Kosten und Unabhängigkeit sind Schlagworte, die in diesem Kontext Fragen aufwerfen. Wer allgemeine Antworten auf allgemeine Fragen braucht, kann dieses System eher nutzen. Für alles andere bietet es sich weniger an.

Was kostet Offline-KI?

KI-Server können bereits für wenige hundert Euro im Monat in deutschen Rechenzentren gemietet werden.

Für den Kauf eines KI-Servers sollten Unternehmen ca. 6000 Euro kalkulieren. Teurer wird es nur, wenn die Last pro Server erhöht werden soll. Dann kann man ca. 2000 Euro für eine Steigerung der Rechenpower um 100% ansetzen. Alles Kosten, die sich im Rahmen halten. Wer SAP-Systeme kennt, kennt andere Zahlen.

Die professionelle Einrichtung Ihres KI-Systems kostet einmalig wenige tausend Euro. Darin enthalten sind Beratung, Software-Installationen, KI-Bibliotheken und KI-Modelle.

Für Ihren Anwendungsfall kann sehr schnell und kostengünstig ein Prototyp erstellt werden. Oft bieten sich Web-Oberflächen als Bedienmöglichkeit an. Die Kosten für den Prototypen sind gering und hängen vom Anwendungsfall ab.

Im Gegensatz zu „früher“ (vor 2 Jahren) ist ein KI-Projekt zunächst eine zeitlich sehr überschaubare Angelegenheit. Während früher für ein Minimalprodukt (MVP) mehrere Monate Aufwand zu veranschlagen waren, sind es jetzt noch Tage.

Wie kann Ihr Unternehmen oder Ihre Behörde starten?

Überlegen Sie sich Anwendungsfälle, die Sie gerne gelöst haben möchten. Hier finden Sie ein paar reale KI-Showcases:

• Gesetzestexte in einfacherer Sprache und zusammengefasst
• Kommunikation intelligent vereinfachen: Kundenanfragen, Schadensmeldungen, Support-Tickets, …
• Bilder generieren, sogar pfeilschnell auf einem Laptop. Auch möglich:
  • Stile vorgeben
  • Texturen vorgeben
  • Schema vorgeben
• Audio-Transkription in Top-Qualität (nur ca. 5 Korrekturen nötig bei 30 Minuten Sprache)
• Zuverlässiges Wissenssystem für Ihr Firmenwissen

Gerne erhalten Sie eine Erstberatung mit Aussagen zu Machbarkeit und Kosten.

Oft ist ein Workshop in Ihrem Unternehmen sinnvoll. In 2 oder 4 Stunden Workshop kann erste Klarheit geschaffen werden.

Ein erster Prototyp kann sowohl zeitlich als auch bezogen auf den Aufwand oft sehr schnell erstellt werden. Das fertige Produkt ist grundsätzlich nicht weit, je nach Anwendungsfall. Es geht auf jeden Fall (eigentlich immer) schneller, als Sie das von anderen Software-Projekten kennen.

Es lohnt sich, in Offline-KI zu investieren. Ihr System kann so möglichst schnell einem Nutzen zugeführt werden und Prozesse im Unternehmen vereinfachen. Die Folge sind Kosteneinsparungen. Beispielsweise, weil Dokumente schneller und besser gefunden oder Kundenanfragen besser und schneller beantwortet werden können.

Newsletter-Abonnenten können live auf Dr. DSGVO eine Offline-KI-Anwendung ausprobieren.

Die Antworten werden allerdings nicht offline gehalten, sondern an Ihren Browser geschickt.