Künstliche Intelligenz: Häufige Fragen und Antworten

Kategorien: Datenschutz und Künstliche Intelligenz

Eine Hilfestellung für Unternehmen und Verwaltungen, um KI-Projekte besser einschätzen und planen zu können. In mehreren KI-Seminaren haben sich einige Fragen von KI-Interessenten als besonders relevant herausgestellt. In diesem Beitrag werden Fragen aus der Praxis genannt und pragmatisch beantwortet.

Einleitung

Wer ein Problem mit KI lösen will, weiß oft nicht, ob das möglich ist oder wie hoch der Aufwand ist. Die folgende praxisbezogene Sammlung von Antworten auf Fragen zu KI-Lösungen zeigt, was möglich ist.

Die Fragen stammen unter anderem aus einem kürzlich gehaltenen Webinar, aber auch aus anderen Kontakten mit Kunden und Interessenten. Die Antworten basieren auf Erfahrungen aus Projekten, in denen Kundenwünsche umgesetzt wurden.

Die Projekte enthielten alle einen relevanten Anteil an KI-Programmierung. Zum Einsatz kamen immer Open-Source KI-Modelle und gelegentlich auch Schnittstellen zu ChatGPT, Claude 3, Command R+ oder anderen kommerziellen Sprachmodellen.

Die Antworten auf die genannten Fragen sollen eine Orientierung geben, um KI-Projekte besser erkennen, einschätzen, planen und durchführen zu können.

Fragen aus der Praxis zu KI und Antworten

In Fettdruck ist jeweils die Frage genannt. Darunter folgt als normaler Fließtext die Antwort.

Welcher Anwendungsfall ist besonders gut für den Einstieg in KI geeignet?

Aufgrund der sehr guten Ergebnisse und der geringen Hardware-Anforderungen eignen sich folgende Anwendungsfälle sehr gut für den Einstieg in KI-Lösungen – wohlgemerkt ohne ChatGPT nutzen zu müssen!

• Wissenssuche: Eigene Dokumente oder Tickets im Ticketsystem durchsuchen.
• Suchfunktion Webseite: Intelligente Suchfunktion für Texte und PDFs auf der eigenen Webseite.
• Beschwerdemanagement: Anhand früherer Fälle eine Empfehlung an den Mitarbeiter geben, wie eine aktuelle Beschwerde am besten behandelt wird.
• Schadensregulierung: Analog zu Beschwerdemanagement.
• Intelligente Internetrecherche: Suchergebnisse aus Suchmaschine erhalten (über Schnittstelle/API) und intelligent sichten. Aus 1000 Treffern werden so die irrelevanten Treffer ausgefiltert.
• Antwortsystem für häufig gestellte Fragen: Voraussetzung sind entweder Frage-Antwort-Pärchen oder Dokumente, die Antworten enthalten (die Fragen, die die Dokumente beantworten, können synthetisch generiert werden).
• Klassifikation von Dokumenten, Texten, Überschriften, Bildern, Signalen: Zuordnen jedes Dokuments zu einer von mehreren definierten Kategorien. Automatisiertes Anlernen der richtigen Kategorien. Hohe Trefferquote möglich.

Diese Anwendungen können auf der eigenen Hardware Ihres Unternehmens oder Ihrer Organisation ablaufen, ohne dass Daten zu Dritten geschickt werden müssen.

Welche Anwendungsfälle eignen sich weiterhin für eine Lösung mit KI?

Zu nennen sind insbesondere:

• Chatbot / Wissensassistent: Konversation mit Gedächtnis, Antwort in eigenen Worten, Nutzung auch von Internetwissen für Antwortermittlung …
• Textgenerierung: Erzeugung hochwertiger kreativer Texte, etwa für Blog-Artikel; Zusammenfassen des Inhalts von Dokumenten
• Objekterkennung: Objektklassen (Person, Haus, …) auf Bildern und in Videos erkennen, intelligente Bewegungserkennung.
• Bildgenerierung: Bilder nach Textvorgabe erzeugen, Bilder ähnlich zu Eingabebild erzeugen. Automatisierte Urheberrechtsprüfung ist möglich.
• Übersetzung von Sprache und Text: Transkription, Sprachausgabe, Übersetzung von einer Sprache in eine von 100 anderen Sprachen.

Der Aufwand hierfür ist oft gering. Lediglich die Hardware-Anforderungen sind höher als für die Anwendungsfälle, die im vorigen Abschnitt genannt sind.

Was ist Offline-KI?

Offline-KI ist eine optimierte KI, die selbst ohne Internetverbindung auskommt, aber bei Bedarf mit der Außenwelt kommunizieren kann.

Vorteile:

• Volle Datenkontrolle
• Oft bessere Ergebnisse als ChatGPT, Gemini u.ä
• Oft günstiger

Mehr Infos zu Offline-KI

Welche zeitlichen Ressourcen sind für ein KI-Projekt realistisch?

Für einen Prototypen und eine Machbarkeitsprüfung ist der Aufwand oft sehr gering. Wenn es um die Verarbeitung Ihrer Daten geht, müssen diese Daten (wie immer) eingelesen werden. Dies ist eine konventionelle Aufgabe.

Die Zeit arbeitet für Sie: Starten Sie Ihr KI-Projekt, dann können Sie sicher sein, dass der technische Fortschritt im KI-Bereich Sie in wenigen Monaten begünstigt.

Wie leicht kann ein KI-Sprachmodell gegen ein anderes ausgetauscht werden?

Kurz gesagt: Meistens ist dies kinderleicht möglich. Viele Sprachmodelle folgen derselben Systemarchitektur. Sie können durch Ändern weniger Zeilen Code ausgetauscht werden. Neue, bessere Sprachmodelle können also als Drop-In Replacement genutzt werden, um einen technischen Terminus zu benutzen.

Wie hoch sind die Lizenzkosten für KI-Programme und KI-Sprachmodelle?

Der Open-Source Markt bietet im KI-Umfeld eine extrem hohe Qualität und Aktualität, die mit keinem anderen Open-Source Markt verglichen werden können.

Dies betrifft sowie KI-Frameworks als auch KI-Sprachmodelle (und andere KI-Modelle).

Die Lizenzkosten sind also, kurz gesagt, null.

Anders sieht es aus, wenn die API von ChatGPT o.ä. genutzt wird. Hier fallen Kosten an, die von der Intensität der Nutzung abhängen.

Kann eine KI auf eigener Hardware betrieben werden?

Ja. Ein plastisches Beispiel aus der Praxis: Dieser Text wurde auf einem Laptop geschrieben, auf dem KI-Sprachmodelle mit 30 Milliarden Parametern (30B Modelle) laufen. Was auf einem Laptop möglich ist, funktioniert erst Recht auf einem KI-Server.

Zum KI-Server: Entweder mieten (von deutschem oder rein europäischen Anbieter) oder kaufen. Die Hauptkosten beim Kauf ergeben sich aus den Kosten der Grafikkarte(n).

Für viele Anwendungsfälle, wie etwa die Wissenssuche oder für die Generierung von Empfehlungen zu Schadensmeldungen oder Kundenbeschwerden, reicht allerdings eine Minimalhardware.

Wie groß ist der Pflegeaufwand für eine KI-Anwendung?

Der Pflegeaufwand ist eher niedriger als bei anderen IT-Systemen, oft auch null. Wenn neue Wissensdokumente vorhanden sind, dann können diese automatisiert eingelesen und verarbeitet werden. Der Aufwand entsteht naturgemäß, wenn neues Wissen zusammengesammelt wird, um die Qualität des Systems weiter zu verbessern bzw. neues Wissen hinzuzufügen. Ohne Hinzufügen von neuem Wissen ist der Aufwand eher gegen null.

Kann einer KI-Anwendung nach Inbetriebnahme neues Wissen hinzugefügt werden?

Ja, das ist in mehrfacher Weise möglich.

Die einfachste Möglichkeit ist das Selektieren von neuem Wissen, das zu einer Nutzerfrage passt, um es dem Sprachmodell zur Erleichterung seiner Antwort zu präsentieren.

Nachhaltiger ist das Feintrainieren des Sprachmodells mit dem neuen Wissen. Das Sprachmodell wird hier sozusagen weitergebildet.

Für das Aufschlauen der KI werden Beispiele benötigt.

Können Trainingsdaten erzeugt werden, falls zu wenige Beispiele da sind?

Ja, das ist möglich. Dazu werden künstliche Beispiele erzeugt. Dies nennt man synthetische Datensätze. Für die Erzeugung synthetischer Datensätze wird ein Sprachmodell genutzt. Für öffentliche Daten kann ein Cloud-Dienst wie ChatGPT, Command R+ o.ä. genutzt werden, wenn Sie das selbst gut finden. Oft besser, weil auch ohne weitere Kosten möglich, ist die Nutzung eines lokalen Sprachmodells. Dieses lokale Modell kann zudem darauf trainiert werden, besonders gut darin zu sein, synthetische Trainingsdaten zu generieren.

Ein weiterer Vorteil lokaler Modelle ist die Möglichkeit, diese andauernd (24/7) damit zu beauftragen, synthetische Daten zu generieren. Was mit ChatGPT einige zehntausend Euro pro Monat kosten würde, leistet ein lokales KI-Modell zum Fixkostenpreis. Die Fixkosten bestehen aus den Betriebskosten Ihrer Hardware. Bei Miethardware betragen diese einige hundert Euro im Monat. Kaufen Sie ein System oder haben Sie eines, entstehen nur Stromkosten im Betrieb.

Hieran sieht man schon, dass erhebliche strategische Vorteile und Möglichkeiten daraus entstehen, wenn man sich ein bisschen mehr Mühe gibt als alle anderen, die aus Bequemlichkeit die vermeintliche bessere Lösung „ChatGPT“ nutzen.

Wie zuverlässig sind die Antworten eines Sprachmodells / Chatbots / KI-Systems?

Es ist wie beim Menschen: Niemand weiß es, außer er kannte vorher schon die Antwort.

Konkret: Sprachmodelle liefern in herkömmlichem Betrieb oft richtige Antworten, aber nicht oft genug, um von Zuverlässigkeit sprechen zu können. Selbst ChatGPT versagt bei spezifischeren Fragen, die sich nicht gerade um die Höhe des Eiffelturms drehen.

Die Suche nach Wissen in Dokumenten hat selbst eine hohe Zuverlässigkeit.

Die Zuverlässigkeit von Chatbots lässt sich durch intelligente Zusatztechniken erheblich verbessern. Der Aufwand hierfür ist gering.

Fazit: „There is no free lunch“. Man muss sich ein bisschen Mühe geben, um eine hohe Zuverlässigkeit zu erhalten. Der Aufwand für die Mühe ist oft überschaubar und ist wirtschaftlich machbar.

Wie kann man verhindern, dass Daten zu ChatGPT oder anderen KI-Anbietern abfließen?

Verhindern lässt sich ein Datenabfluss zu OpenAI oder Microsoft nur, wenn Sie ChatGPT nicht nutzen.

Nutzen Sie ChatGPT, lässt sich der Datenabfluss gar nicht verhindern. Oft sind die Datenschutzeinstellungen zulasten der Kunden (Opt-Out statt Opt-in). Der Abfluss Ihrer Daten kann nur rechtlich, also rein theoretisch, verhindert werden.

Welche datenschutzrechtlichen Probleme können bei Einsatz einer Anwendung wie HeyGen entstehen?

HeyGen steht hier nur als Platzhalter für viele KI-Anwendungen dieser Art, mit denen synthetische Inhalte generiert werden können.

HeyGen ist ein online verfügbares Werkzeug, um ein Video zu erstellen. Dabei wird die eigene Stimme geklont, auf ein anderes Gesicht gelegt und die Lippen dazu synchronisiert. Eine Texteingabe wird als Sprache in der geklonten Stimme ausgegeben.

Wenn Ihr Marketing-Mitarbeiter selbst HeyGen vorschlägt und freiwillig seine eigene Stimme klonen lässt, dann hat er womöglich auch kein Widerrufsrecht, weil er zuvor keine Einwilligung erteilte, die er widerrufen könnte. Andernfalls ist zu beachten, dass für die Verwendung einer menschlichen Stimme womöglich eine Einwilligung vom Stimmeninhaber eingeholt werden muss.

Ist ChatGPT das beste Sprachmodell?

Wahrscheinlich nicht mehr. ChatGPT liefert erstaunliche Ergebnisse, wurde aber nicht speziell für die deutsche Sprache trainiert. Zudem ist es "alt", es basiert auf einer Architektur, die mittlerweile als überholt bezeichnet werden muss. Alleine die schiere Menge an Daten und die schiere Größe (Anzahl künstlicher Neuronen und -verbindungen) sorgen für eine wettbewerbsfähige Leistung.