Künstliche Intelligenz: Häufige Fragen und Antworten

Kategorien: Datenschutz und Künstliche Intelligenz

Eine Hilfestellung für Unternehmen und Verwaltungen, um KI-Projekte besser einschätzen und planen zu können. In mehreren KI-Seminaren haben sich einige Fragen von KI-Interessenten als besonders relevant herausgestellt. In diesem Beitrag werden Fragen aus der Praxis genannt und pragmatisch beantwortet.

Einleitung

Wer ein Problem mit KI lösen will, weiß oft nicht, ob das möglich ist oder wie hoch der Aufwand ist. Die folgende praxisbezogene Sammlung von Antworten auf Fragen zu KI-Lösungen zeigt, was möglich ist.

Die Fragen stammen unter anderem aus einem kürzlich gehaltenen Webinar, aber auch aus anderen Kontakten mit Kunden und Interessenten. Die Antworten basieren auf Erfahrungen aus Projekten, in denen Kundenwünsche umgesetzt wurden.

Die Projekte enthielten alle einen relevanten Anteil an KI-Programmierung. Zum Einsatz kamen immer Open-Source KI-Modelle und gelegentlich auch Schnittstellen zu ChatGPT, Claude 3, Command R+ oder anderen kommerziellen Sprachmodellen.

Die Antworten auf die genannten Fragen sollen eine Orientierung geben, um KI-Projekte besser erkennen, einschätzen, planen und durchführen zu können.

Fragen aus der Praxis zu KI und Antworten

In Fettdruck ist jeweils die Frage genannt. Darunter folgt als normaler Fließtext die Antwort.

Welcher Anwendungsfall ist besonders gut für den Einstieg in KI geeignet?

Aufgrund der sehr guten Ergebnisse und der geringen Hardware-Anforderungen eignen sich folgende Anwendungsfälle sehr gut für den Einstieg in KI-Lösungen – wohlgemerkt ohne ChatGPT nutzen zu müssen!

• Wissenssuche: Eigene Dokumente oder Tickets im Ticketsystem durchsuchen.
• Suchfunktion Webseite: Intelligente Suchfunktion für Texte und PDFs auf der eigenen Webseite.
• Beschwerdemanagement: Anhand früherer Fälle eine Empfehlung an den Mitarbeiter geben, wie eine aktuelle Beschwerde am besten behandelt wird.
• Schadensregulierung: Analog zu Beschwerdemanagement.
• Intelligente Internetrecherche: Suchergebnisse aus Suchmaschine erhalten (über Schnittstelle/API) und intelligent sichten. Aus 1000 Treffern werden so die irrelevanten Treffer ausgefiltert.
• Antwortsystem für häufig gestellte Fragen: Voraussetzung sind entweder Frage-Antwort-Pärchen oder Dokumente, die Antworten enthalten (die Fragen, die die Dokumente beantworten, können synthetisch generiert werden).
• Klassifikation von Dokumenten, Texten, Überschriften, Bildern, Signalen: Zuordnen jedes Dokuments zu einer von mehreren definierten Kategorien. Automatisiertes Anlernen der richtigen Kategorien. Hohe Trefferquote möglich.

Diese Anwendungen können auf der eigenen Hardware Ihres Unternehmens oder Ihrer Organisation ablaufen, ohne dass Daten zu Dritten geschickt werden müssen.

Welche Anwendungsfälle eignen sich weiterhin für eine Lösung mit KI?

Zu nennen sind insbesondere:

• Chatbot / Wissensassistent: Konversation mit Gedächtnis, Antwort in eigenen Worten, Nutzung auch von Internetwissen für Antwortermittlung …
• Textgenerierung: Erzeugung hochwertiger kreativer Texte, etwa für Blog-Artikel; Zusammenfassen des Inhalts von Dokumenten
• Objekterkennung: Objektklassen (Person, Haus, …) auf Bildern und in Videos erkennen, intelligente Bewegungserkennung.
• Bildgenerierung: Bilder nach Textvorgabe erzeugen, Bilder ähnlich zu Eingabebild erzeugen. Automatisierte Urheberrechtsprüfung ist möglich.
• Übersetzung von Sprache und Text: Transkription, Sprachausgabe, Übersetzung von einer Sprache in eine von 100 anderen Sprachen.

Der Aufwand hierfür ist oft gering. Lediglich die Hardware-Anforderungen sind höher als für die Anwendungsfälle, die im vorigen Abschnitt genannt sind.

Was ist Offline-KI?

Offline-KI ist eine optimierte KI, die selbst ohne Internetverbindung auskommt, aber bei Bedarf mit der Außenwelt kommunizieren kann.

Vorteile:

• Volle Datenkontrolle
• Oft bessere Ergebnisse als ChatGPT, Gemini u.ä
• Oft günstiger

Mehr Infos zu Offline-KI

Welche zeitlichen Ressourcen sind für ein KI-Projekt realistisch?

Für einen Prototypen und eine Machbarkeitsprüfung ist der Aufwand oft sehr gering. Wenn es um die Verarbeitung Ihrer Daten geht, müssen diese Daten (wie immer) eingelesen werden. Dies ist eine konventionelle Aufgabe.

Die Zeit arbeitet für Sie: Starten Sie Ihr KI-Projekt, dann können Sie sicher sein, dass der technische Fortschritt im KI-Bereich Sie in wenigen Monaten begünstigt.

Wie leicht kann ein KI-Sprachmodell gegen ein anderes ausgetauscht werden?

Kurz gesagt: Meistens ist dies kinderleicht möglich. Viele Sprachmodelle folgen derselben Systemarchitektur. Sie können durch Ändern weniger Zeilen Code ausgetauscht werden. Neue, bessere Sprachmodelle können also als Drop-In Replacement genutzt werden, um einen technischen Terminus zu benutzen.

Wie hoch sind die Lizenzkosten für KI-Programme und KI-Sprachmodelle?

Der Open-Source Markt bietet im KI-Umfeld eine extrem hohe Qualität und Aktualität, die mit keinem anderen Open-Source Markt verglichen werden können.

Dies betrifft sowie KI-Frameworks als auch KI-Sprachmodelle (und andere KI-Modelle).

Die Lizenzkosten sind also, kurz gesagt, null.

Anders sieht es aus, wenn die API von ChatGPT o.ä. genutzt wird. Hier fallen Kosten an, die von der Intensität der Nutzung abhängen.

Kann eine KI auf eigener Hardware betrieben werden?

Ja. Ein plastisches Beispiel aus der Praxis: Dieser Text wurde auf einem Laptop geschrieben, auf dem KI-Sprachmodelle mit 30 Milliarden Parametern (30B Modelle) laufen. Was auf einem Laptop möglich ist, funktioniert erst Recht auf einem KI-Server.

Zum KI-Server: Entweder mieten (von deutschem oder rein europäischen Anbieter) oder kaufen. Die Hauptkosten beim Kauf ergeben sich aus den Kosten der Grafikkarte(n).

Für viele Anwendungsfälle, wie etwa die Wissenssuche oder für die Generierung von Empfehlungen zu Schadensmeldungen oder Kundenbeschwerden, reicht allerdings eine Minimalhardware.

Wie groß ist der Pflegeaufwand für eine KI-Anwendung?

Der Pflegeaufwand ist eher niedriger als bei anderen IT-Systemen, oft auch null. Wenn neue Wissensdokumente vorhanden sind, dann können diese automatisiert eingelesen und verarbeitet werden. Der Aufwand entsteht naturgemäß, wenn neues Wissen zusammengesammelt wird, um die Qualität des Systems weiter zu verbessern bzw. neues Wissen hinzuzufügen. Ohne Hinzufügen von neuem Wissen ist der Aufwand eher gegen null.

Kann einer KI-Anwendung nach Inbetriebnahme neues Wissen hinzugefügt werden?

Ja, das ist in mehrfacher Weise möglich.

Die einfachste Möglichkeit ist das Selektieren von neuem Wissen, das zu einer Nutzerfrage passt, um es dem Sprachmodell zur Erleichterung seiner Antwort zu präsentieren.

Nachhaltiger ist das Feintrainieren des Sprachmodells mit dem neuen Wissen. Das Sprachmodell wird hier sozusagen weitergebildet.

Für das Aufschlauen der KI werden Beispiele benötigt.

Können Trainingsdaten erzeugt werden, falls zu wenige Beispiele da sind?

Ja, das ist möglich. Dazu werden künstliche Beispiele erzeugt. Dies nennt man synthetische Datensätze. Für die Erzeugung synthetischer Datensätze wird ein Sprachmodell genutzt. Für öffentliche Daten kann ein Cloud-Dienst wie ChatGPT, Command R+ o.ä. genutzt werden, wenn Sie das selbst gut finden. Oft besser, weil auch ohne weitere Kosten möglich, ist die Nutzung eines lokalen Sprachmodells. Dieses lokale Modell kann zudem darauf trainiert werden, besonders gut darin zu sein, synthetische Trainingsdaten zu generieren.

Ein weiterer Vorteil lokaler Modelle ist die Möglichkeit, diese andauernd (24/7) damit zu beauftragen, synthetische Daten zu generieren. Was mit ChatGPT einige zehntausend Euro pro Monat kosten würde, leistet ein lokales KI-Modell zum Fixkostenpreis. Die Fixkosten bestehen aus den Betriebskosten Ihrer Hardware. Bei Miethardware betragen diese einige hundert Euro im Monat. Kaufen Sie ein System oder haben Sie eines, entstehen nur Stromkosten im Betrieb.

Hieran sieht man schon, dass erhebliche strategische Vorteile und Möglichkeiten daraus entstehen, wenn man sich ein bisschen mehr Mühe gibt als alle anderen, die aus Bequemlichkeit die vermeintliche bessere Lösung „ChatGPT“ nutzen.

Wie zuverlässig sind die Antworten eines Sprachmodells / Chatbots / KI-Systems?

Es ist wie beim Menschen: Niemand weiß es, außer er kannte vorher schon die Antwort.

Konkret: Sprachmodelle liefern in herkömmlichem Betrieb oft richtige Antworten, aber nicht oft genug, um von Zuverlässigkeit sprechen zu können. Selbst ChatGPT versagt bei spezifischeren Fragen, die sich nicht gerade um die Höhe des Eiffelturms drehen.

Die Suche nach Wissen in Dokumenten hat selbst eine hohe Zuverlässigkeit.

Die Zuverlässigkeit von Chatbots lässt sich durch intelligente Zusatztechniken erheblich verbessern. Der Aufwand hierfür ist gering.

Fazit: „There is no free lunch“. Man muss sich ein bisschen Mühe geben, um eine hohe Zuverlässigkeit zu erhalten. Der Aufwand für die Mühe ist oft überschaubar und ist wirtschaftlich machbar.

Wie kann man verhindern, dass Daten zu ChatGPT oder anderen KI-Anbietern abfließen?

Verhindern lässt sich ein Datenabfluss zu OpenAI oder Microsoft nur, wenn Sie ChatGPT nicht nutzen.

Nutzen Sie ChatGPT, lässt sich der Datenabfluss gar nicht verhindern. Oft sind die Datenschutzeinstellungen zulasten der Kunden (Opt-Out statt Opt-in). Der Abfluss Ihrer Daten kann nur rechtlich, also rein theoretisch, verhindert werden.

Welche datenschutzrechtlichen Probleme können bei Einsatz einer Anwendung wie HeyGen entstehen?

HeyGen steht hier nur als Platzhalter für viele KI-Anwendungen dieser Art, mit denen synthetische Inhalte generiert werden können.

HeyGen ist ein online verfügbares Werkzeug, um ein Video zu erstellen. Dabei wird die eigene Stimme geklont, auf ein anderes Gesicht gelegt und die Lippen dazu synchronisiert. Eine Texteingabe wird als Sprache in der geklonten Stimme ausgegeben.

Wenn Ihr Marketing-Mitarbeiter selbst HeyGen vorschlägt und freiwillig seine eigene Stimme klonen lässt, dann hat er womöglich auch kein Widerrufsrecht, weil er zuvor keine Einwilligung erteilte, die er widerrufen könnte. Andernfalls ist zu beachten, dass für die Verwendung einer menschlichen Stimme womöglich eine Einwilligung vom Stimmeninhaber eingeholt werden muss.

Ist ChatGPT das beste Sprachmodell?

Wahrscheinlich nicht mehr. ChatGPT liefert erstaunliche Ergebnisse, wurde aber nicht speziell für die deutsche Sprache trainiert. Zudem ist es "alt", es basiert auf einer Architektur, die mittlerweile als überholt bezeichnet werden muss. Alleine die schiere Menge an Daten und die schiere Größe (Anzahl künstlicher Neuronen und -verbindungen) sorgen für eine wettbewerbsfähige Leistung.

Die Kosten von ChatGPT sind nicht konkurrenzfähig, weil im Vergleich teils mehr als doppelt so hoch wie bei vergleichbaren Sprachmodellen anderer Anbieter. Mistral aus Frankreich hat etwa ein sehr gutes Modell im Angebot, ebenso Cohere aus den USA. Die außereuropäischen Anbieter eignen sich eher für Anwendungen, in denen es nicht um kritische Daten geht und kein Wissensabfluss zu befürchten ist.

Open-Source Modelle sind mittlerweile so hervorragend, dass sie konkurrenzfähig sind. Sie werden zudem immer besser und können selbst betrieben werden.

Was muss beim Betrieb eines KI-Anrufbeantworters beachten werden?

Gemeint ist hier eine (statische) Ansage, die mit einer KI-Anwendung erstellt wurde.

Die synthetische Stimme sollte nicht zu ähnlich der einer realen Person (mit wiedererkennbarer Stimme) sein. Für das Synthetisieren der Stimme sollte das Ausgangsstimmmaterial urheberrechtlich unbedenklich sein.

Ansonsten ist nichts Wesentliches zu beachten. Insbesondere werden hier durch KI keine personenbezogenen Daten verarbeitet.

Welche Kenntnisse sollte ein KI-Programmierer haben?

Tiefes technisches Wissen und Programmiererfahrung sind sehr von Vorteil. Wer noch nie tiefer in der KI-Programmierung gearbeitet hat, sollte nicht anfangen, ein KI-System von null auf aufzubauen.

KI ist ein sehr komplexes Thema mit zahlreichen rasanten Entwicklungen. Vor allem sollten Kenntnisse in Python und Linux/Ubuntu (o. ä.) vorhanden sein. Wenn die technischen Grundzüge Künstlicher Intelligenz bekannt sind, schadet das nicht. Auch Kenntnis in der Schnittstellenprogrammierung ist von Vorteil. Ob der Programmierer derjenige ist, der das System erstmals einrichtet und von Grunde auf installiert, ist eine andere Frage. Oft ist es sinnvoll, wenn das jemand anders macht.

Was KI angeht, ist es mittelfristig von Vorteil, wenn der technische Ansprechpartner (oft ist der Programmierer/Entwickler) intensiv die rasanten Entwicklungen auf dem technischen KI-Markt verfolgt und kennt.

Kann KI auch für andere Aufgaben als für Textverarbeitung verwendet werden?

Ja. Man spricht hier von Modalitäten. Modalitäten sind Datenarten, also Text, Bild, Video, Audio, Temperatursensorwerte, Web-Analysedaten usw.

Für zahlreiche Modalitäten gibt es KI-Modelle, und zwar Open-Source, also frei verfügbar. Beispielsweise kann aus Videos oder Podcasts die Sprache extrahiert und in Text umgewandelt werden. Das geht mit eigenen KI-Systemen auf Open-Source Basis besser als beispielsweise mit Microsoft Teams! Die Thematik der Datenkontrolle mal außen vor gelassen.

Welchen Computer empfehlen Sie mir als KI-Arbeitsplatzrechner?

Es kommt darauf an, ob Sie programmieren wollen oder "nur" als Anwender mit KI arbeiten wollen.

Für die Programmierung empfehle ich ein Ubuntu-System. Möglich wäre auch Windows mit WSL, was für den guten Einstieg, aber nicht für Profis geeignet ist.

Als Anwender können Sie einen PC (oder Notebook) Ihrer Wahl nehmen, der entweder eine KI-fähige Grafikkarte mit möglichst viel VRAM enthält (NVidia) oder einen KI-Chip von Apple (etwa den M3). Alles andere ist fast egal. Wichtig wäre noch eine Festplatte ab 1 TB, am besten mit schneller SSD-Technologie. RAM ab 32 GB.

Abschlussbemerkungen

Sicher gibt es noch viele weitere Fragen. Zögern Sie nicht, Ihre Fragen zu stellen. Sie erhalten gerne eine Antwort.

Auch wenn Sie eine erste Einschätzung über die Machbarkeit oder den Aufwand für Ihr Vorhaben benötigen, erhalten Sie gerne eine realistische Rückmeldung.