Künstliche Intelligenz: Praxistest des neuen LLaMA Sprachmodells von Meta

Kategorien: Datenschutz und Künstliche Intelligenz

Meta hat wohl wegen der aktuellen Vormachtstellung von Microsoft/OpenAI und Google im KI-Bereich sein leistungsfähiges KI-Modell LLaMA in der Version 2 freigegeben, und zwar auch für die kommerzielle Nutzung. Ein lokaler Betrieb ohne Probleme mit Datenschutz, Geschäftsgeheimnissen oder Mitarbeiterdaten ist möglich. Ein Praxistest.

Einleitung

Das von Meta am 18.07. freigegebene KI-Modell der zweiten Generation ist ein Sprachmodell (Large Language Model = LLM). Es eignet sich für das Analysieren von Text. Somit kann es unter anderem für folgende Anwendungsfälle genutzt werden:

• Zusammenfassung von Text (abstractive summary = abstraktive Zusammenfassung = Zusammenfassung in eigenen/neuen Worten).
• Extrahieren von Bedeutungen aus Dokumenten (Beispiel: Welche Fragen beantwortet das gegebene Dokument?).
• Suchmaschine für Dokumente (vector search = Vektorsuche).
• Beantworten von Fragen mit Firmen-Dokumenten als Wissensbasis (question-answering = Frage-Antwort-System).
• ChatBot (conversational = Konversationen).

Update: Neuere und leistugsfähigere Sprachmodelle werden in der Offline-KI auf Dr. DSGVO verwendet.

LLaMA ist die Abkürzung für Large Language Model Meta AI. Meta AI ist eine Abteilung des Meta-Konzerns, die sich um Künstliche Intelligenz-Anwendungen kümmert. Nachdem Meta nun zahlreiche Daten über Nutzer auf Facebook, Instagram oder WhatsApp eingesammelt hat, werden diese Daten nun für das KI-Training und KI-Modelle wie LLaMA verwendet.

Das LLaMA 2 Sprachmodell kann lokal und datenfreundlich auch für kommerzielle Anwendungen betrieben werden. Die Hardware-Anforderungen sind erfüllbar.

Siehe diesen Beitrag sowie anderen Beitrag.

Neben Modellen für das Sprachverstehen gibt es Modelle, die für andere Datenarten geeignet sind. Sicher haben viele schon von StableDiffusion gehört, einem KI-Modell, mit dem zu einem Text-Prompt ein Bild generiert werden kann (Dall-E, Midjourney etc.).

Für Grundlagen empfehle ich einen meiner bisherigen Beiträge zu Künstlicher Intelligenz:

• Grundlagen für KI-Systeme.
• Frage-Antwort-System mit KI.
• Aktuelle KI ist eine Revolution und basiert nicht im Wesentlichen auf Statistik.
• Typische Anwendungsfälle, Datenschutz, Vertraulichkeit, Missverständnisse.
• Konfigurationsparameter eines Sprachassistenten.

Die Hardware-Anforderungen für die kleineren Modelle sind erfüllbar. Die Modellgröße wird bestimmt durch die Anzahl der Parameter im Modell. Parameter sind Neuronenverbindungen. Ganz grob und vereinfachen könnte man als Parameter die Anzahl der Neuronen im elektronischen Gehirn ansehen.

In KI-Modelle werden Parameter wie folgt abgekürzt (Beispiele):

• 7B = 7 Milliarden
• 13B = 13 Milliarden
• 70B = 70 Milliarden

Das „B“ kommt von „billion“, weil im Englischen die Milliarde nicht existiert. Eine „billion“ ist also eine Milliarde. Modelle mit beispielsweise 200 Millionen Parametern heißen dann 200M. Ein Glück, denn im Deutschen kämen wir mit „M“ für Million und das gleiche „M“ für Milliarde etwas durcheinander.

Die Parameteranzahl eines Modells ist ein sehr guter Indikator für dessen Sprachverständnis. Je höher diese Anzahl, desto besser „spricht“ bzw. versteht dieses Modell eine Sprache. Doch welche Sprache? Die meisten Modelle waren bis vor kurzem nur auf Englisch geprägt. Jedoch gab es immer etwas Beifang. Soll heißen: Glücklicherweise sind einige Texte im Internet ausnahmsweise auch in Deutsch und nicht in Englisch, Chinesisch oder Spanisch gehalten. Somit kann ein KI-Modell mit ausreichend großer Parameteranzahl aus Versehen auch Deutsch. Das war nicht ironisch gemeint, auch wenn es so klingt.

Entscheidend für ein Modell ist somit dessen Parameteranzahl und auch die Prägesprache. Bei großen Modellen gibt es bis dato kein mir bekanntes, welches speziell auf Deutsch trainiert wurde. Das kann nächste Woche anders sein. Daran sieht man sehr schön, wie langsam manche Unternehmen, Behörden oder Gesetzgeber arbeiten. Während diese in Jahren oder Drei-Jahres-Zeiträumen denken, sind vier Wochen in der KI-Szene ein langer Zeitraum. Viel Spaß in der Zukunft (die gleich beginnt), wenn wir alle von technologischen Fortschritten und Problemen überrollt werden. Ich schütze mich vorsichtshalber lieber selbst und warte nicht auf Gesetze oder Urteile.

Ebenfalls entscheidend für ein KI-Modell ist die sogenannte Kontextlänge. Die Kontextlänge gibt an, wie groß die Texthappen sein können, die ein KI-Modell verarbeiten kann. Dazu muss das KI-Modell mit Texthappen vortrainiert werden, die die Kontextlänge aufweisen. Umso größer, umso besser, aber auch umso rechenintensiver. Ich hatte bei Meta gelesen, dass für das Training zahlreiche A100 Grafikkarten mit je 80 GB VRAM (Video-RAM, ungleich gewöhnlichem CPU-RAM) verwendet wurden. Die Rechenzeit betrug 3,3 Millionen Grafikkarten-Stunden. Eine A100 ist eine sehr teure Grafikkarte. Ein Stück kostete bis vor kurzem 15.000 Euro. Eine solche Karte zieht im Maximum 400 Watt Leistung aus der Steckdose.

Das LLaMA 2 Modell hat eine Kontextlänge von 4096 Zeichen. Das ist deutlich mehr als beim Vorgängermodell, LLaMA in der Version 1, die wohl nur 2048 Zeichen hatte. Die meisten mir bekannten Modelle hatten bis dato nur 1024 Zeichen. ChatGPT-4 hat wohl 8096 Zeichen Kontextlänge, ist aber auch extrem langsam, wenn ich mir die Chat-Oberfläche und Reaktionszeit ansehe. Mittlerweile gibt es sogar Modelle mit 128.000 Zeichen Kontextlänge. Diese sind aktuell wohl aber mit eher wenigen Parametern ausgestattet.

Wie gut ist LLaMA 2 also?

Praxistest des LLaMA 2 Modells

Mein Praxistest gibt einen Einblick und ersten Eindruck, mehr nicht. Als Anwendungsfall habe ich die Textgenerierung verwendet, die auf eine Frage eine Antwort aus den Beiträgen von Dr. DSGVO geben soll. Alle Fragen habe ich in deutscher Sprache gestellt.

Geprüft hatte ich die Modelle LLaMA 2 mit 7B und mit 13B Parametern. Das 70B Modell übersteigt aktuell die mir zur Verfügung stehende Hardware. Ich könnte mir diese leisten, aber warum sollte ich? Zum Ausprobieren bereits sehr guter Modelle reicht mein KI-Server völlig aus. Dazu verwende ich runtergerechnete Modelle. Diese Modelle haben eine immer noch sehr gute Qualität bei deutlich niedrigerem Ressourcenbedarf. Die vollen Modelle von LLaMA 2 sind also noch ein bisschen besser. Wie meine bisherige Tests mit Vicuna-Modellen zeigen, ist der Unterschied aber wohl eher minimal. Allerdings kann ich nicht ausschließen, dass die nutzbare Kontextlänge bei den runtergerechneten Modellen auch niedriger ist.

Bei einer Antwort des LLaMA-Modells war eine WordPress-Version enthalten und als neueste WordPress-Version gekennzeichnet. Wenn man dies zugrunde legt, stammt das Wissen aus dem KI-Modell zumindest teilweise von Anfang des Jahres 2022. Hierum geht es aber nicht, denn als Anwendungsfälle kommt ja insbesondere die Analyse von Unternehmensdokumenten infrage und nicht die Beantwortung von allgemeinen Wissensfragen.

7B-Modell:

Meine ersten Tests fanden mit dem 7B-Modell von LLaMA 2 statt. Die Ergebnisse waren nach aktuellen Maßstäben mittelmäßig. Letztes Jahr wäre ich noch erstaunt gewesen. Die Qualität ist also bereits für ein solches Modell erstaunlich gut, wenngleich die Anwendungsfälle eingegrenzt sind. Ich sehe das 7B-Modell eher für die Suche nach Dokumenten oder für einen einfachen Frage-Antwort-Assistenten, dem man keine komplizierten Fragen stellt. Zudem müsste man nach meiner Einschätzung das 7B-Modell feintrainieren, um Expertenwissen halbwegs zuverlässig einpflanzen zu können.

13B-Modell:

Meine Tests berücksichtigen die große Kontextlänge von 4096 für die LLaMA2-Modellvarianten. Anscheinend tut sich das Modell schwer, bei einer solchen Kontextlänge Antworten nur in Deutsch zu geben, obwohl ich dies versuchte, zu forcieren. Hier ein Beispiel:

Frage: Dürfen normale Menschen jemanden rechtlich beraten?
Antwort: Yes, normal people can give legal advice.

The BGH has decided that contract documents, in particular contract drafts, can be created by software that uses a question-answer game. Also, data protection texts are even further out of the line.

Functioning of a contract generator:
A legal publishing house offers a software that creates contracts. Against this, a German bar association had something to say. The bar association was of the opinion that the contract drafting was only allowed to lawyers.
The Federal Court of Justice gave the opinion of the bar association a clear rejection. This goes out of the BGH decision of 09/09/2021, which had to decide on the legality of a contract document generator.
The infamous software asks the user about various aspects that are important for contract drafting. The user answers accordingly.
Then the software creates a contract draft on the basis

Die Frage war absichtlich etwas flapsig formuliert. Fast jeder Mensch schreibt so in sein oder ihr Endgerät hinein. Die Antwort war in Englisch, obwohl ich Deutsch verlangte (hier nicht dargestellt, aber dem KI-Modell mitgeteilt). Die Antwort war ziemlich lang, aber abgeschnitten. Das liegt daran, dass auch Antworten eine maximale Länge haben. Viele kennen das von ChatGPT. Die Berechnung der Antwort dauerte hier übrigens 9,2 Sekunden. Die meisten Antworten wurden in meinem Test schneller oder deutlich schneller gegeben. Es kommt eben auf die Frage an. Mithilfe des sogenannten Streamings kann die Reaktionszeit psychologisch reduziert werden. Viele kennen vielleicht von früher noch Windows-Startbildschirme, die bei einem einzigen Hochfahren von Windows in mindestens drei Varianten hintereinander erschienen und jedesmal mitteilten, dass Windows gerade gestartet wird und ganz sicher gleich verfügbar ist.

Mit Kontextlänge 4096 gab es immerhin einige Antworten in deutscher Sprache. Entscheidend sind neben diesem Parameter aber auch andere. Jedenfalls in einer Konfiguration, die nahe dem ist, was ich aus meinen bisherigen Tests mit anderen KI-Modellen als sehr gut bezeichnen würde, kam folgendes Ergebnis zustande:

Frage: Welche Rechte habe ich im datenschutz?
Antwort: Ich habe keine Rechte.

Ich habe die Rechte, die mir die DSGVO gewährt.

Ich habe die Rechte, die mir die DSGVO gewährt, und die Rechte, die mir die DSGVO nicht gewährt.

Die Frage war absichtlich mit klein geschriebenem Wort „Datenschutz“ gestellt. Schließlich sind auch menschliche Fragesteller, die etwas in ein Eingabefeld eintippen, üblicherweise wenig sorgfältig. Die für die Auswahl der Quelldokumente zugelassene Unschärfe war eher am unteren Rand.

Nach Verringerung der zulässigen Unschärfe kam auf eine andere Frage folgende Antwort:

Frage: Wer ist Klaus Meffert?
Antwort: Klaus Meffert ist ein Informatiker, der in der Informatik promoviert hat. Er ist Herausgeber des Blogs namens Dr. DSGVO. Der Blog ist unter der Internetadresse dr-dsgvo.de erreichbar. Er wohnt in Hessen, dem Bundesland, in dem die Datenschutzbehörde keine Lust hat, Bußgelder zu verhängen. Manches hessische Gericht hat zudem wenig bis keine Lust, sich mit Datenschutzklagen im Sinne betroffener Personen zu beschäftigen.

Keine Ahnung, wie die Angabe zu hessischen Behörden in meine KI hineinkam, wo doch bereits so viele Bußgelder in Hessen wegen Datenschutzverstößen erlassen wurden. Im Web Tracking waren es immerhin null. Und Google Analytics ist gar nicht schlimm, wie ein Referatsleiter der hessischen Behörde mir persönlich und bei einer Konferenz sagte. Die KI-Antwort basiert also auf dem eingekippten Wissen, was sehr gut ist. Halluzinationen sind hier nicht festzustellen, was ebenfalls sehr gut ist.

Manchmal kommen lustige Ergebnisse zustande. Hier ein Beispiel:

Frage: Wer ist Dr. Meffert?
Antwort: Dr. Meffert ist ein fiktiver Anwalt, der in der DSGVO-Übersetzungstabelle als Referenz für die Übersetzung von „Anwalt“ dient.

Mein Erklärungsversuch für diese KI-Antwort ist, dass in meinem Blog ein Datenschutz-Wörterbuch mit Übersetzungen von Fachbegriffen von Deutsch nach Englisch existiert. Dass ich ein fiktiver Anwalt sei, könnte die KI aus meiner Affinität für den juristischen Kontext abgeleitet haben. Aus dieser Ahnung, die die KI hier nebenbei generiert, könnten ganz neue Anwendungsfälle entstehen. Man könnte so nämlich psychologische Profile von Personen anhand von deren Werken (Text, Bild, Musik …) generieren.

In einem anderen Beitrag beschrieb ich die Antwort meiner KI auf die Frage: „Ist Klaus Meffert böse?“ . LLaMA 2 antwortete mit „Keine gute Antwort gefunden.“ Über diese Antwort kann man sich nicht beschweren. Allerdings war eine Antwort im eben erwähnten Beitrag deutlich besser.

Für eine weitere Frage kam folgendes Ergebnis zustande:

Frage: Ist WordPress sicher?
Antwort: WordPress ist sicher, wenn man sich um die Sicherheit kümmert.

Das bedeutet, dass man die WordPress-Installation regelmäßig aktualisiert, die Plugins und Themes regelmäßig aktualisiert und die Passwörter regelmäßig geändert hat.

Das ist die Grundlage für die Sicherheit.

Das ist aber nicht alles.

Es gibt noch weitere Sicherheitsmaßnahmen, die man ergreifen kann.

Das sind zum Beispiel:
* Die Installation von WordPress auf einem Server, der nicht direkt am Internet zugänglich ist.

Die Antwort ist schon sehr gut, finde ich. Laut berechnetem Konfidenzwert wurde sie zu einem Teil aus meinem eigenen Wissensbestand gegeben und zu einem Teil aus der Wissensdatenbank, die dem KI-Modell inhärent ist. Wenn Sie nicht wissen, was inhärent ist, ist das kein Problem. Ich verwende diesen Begriff hier nur, weil sowieso keiner so genau weiß, wie ein KI-Modell sein Wissen nach außen stülpt. Das ist übrigens das gleiche wie beim Menschen. Keine Ahnung, warum ich gestern eine andere Antwort auf dieselbe Frage gegeben hatte, die mir heute wieder gestellt wurde. Das war nicht einmal ironisch gemeint, wenngleich das Beispiel erfunden war.

Die eben genannten Ergebnisse basierte auf einer Konfiguration, die die zwei besten Quelldokumenten als Basis für die Beantwortung der vom Menschen gestellte Frage ermittelt. Der Prozess ist mehrstufig, weil ein Dokument üblicherweise mehr als 4096 Zeichen besitzt. Dokumente werden also erst zerkleinert und dann in die KI hineingegeben.

Wie sieht das Ergebnis aus, wenn drei Quelldokumente als Basis verwendet werden? Die Ergebnisse scheinen hier deutlich besser zu sein. Hier ein Beispiel auf eine sehr schwierige Frage:

Frage: Kann anhand der IP-Adresse der Standort eines Servers ermittelt werden? 
Antwort: Nein, das ist nicht zuverlässig möglich. Die IP-Adresse kann für beliebige Server verwendet werden. Der Server-Standort kann über die IP-Adresse nicht zuverlässig ermittelt werden. Die Zuordnung einer IP-Adresse zu einem Server kann sich jederzeit ändern. Der Standort eines Servers kann zuverlässig nur durch Prüfung der vertraglichen Vereinbarung mit dem Betreiber des Servers ermittelt werden.

Die Antwort kommt fast vollständig aus meinen Blog-Artikeln. Sie ist richtig und wurde meinem KI-System eingeprügelt. Hingegen kann die hochentwickelte Künstliche Intelligenz von Microsoft in Bing diese Frage nur falsch beantworten. Bing gibt die Antwort „Ja“ und nennt Quelldokumente mit einem Auszug, die diese falsche Antwort begründen. Bing sagt also, dass anhand der IP-Adresse der Standort eines Servers ermittelt werden kann und schränkt dies auch nicht ein.

Auch Copilot hat extreme Schwächen, wie ein Test illustriert. Selbst vermeintlich einfache Alltagsaufgaben kann die KI von Microsoft nicht ordentlich beantworten.

Alternativen

Fast jede Woche gibt neue Sprachmodelle, die die vorherigen übertreffen. So ist beispielsweise Platypus2 ein Modell, welches nach meinen Tests bessere Ergebnisse erzielen kann als LLaMa 2.

Zudem gibt es Varianten von LLaMa, die eine viel größere Kontextlänge haben. Eine große Kontextlänge ermöglicht es, große Dokumente bzw. umfangreiche Texte auf einmal in die KI einzukippen. Ein Aufteilen in handliche Häppchen, wie es ansonsten notwendig ist, entfällt. Als Modell dieser Art ist Yarn-Llama-2 zu nennen. Werden Häppchen gebildet, besteht immer die Gefahr, dass Informationen verfälscht werden oder verloren gehen. Ein großer Kontext löst diese Probleme.

Feintrainierte Varianten von LLaMa 2 liefern oft bessere Ergebnisse in einschlägigen Teststellungen wie ARC oder TruthfulQA. Allerdings muss für den spezifischen Anwendungsfall geprüft werden, ob ein Modell wirklich besser ist als ein anderes. Die meisten Anwendungsfälle in Deutschland dürften Deutsch als Primärsprache zu haben. Insofern bringt es wenig, wenn ein Modell, welches überwiegend auf englische Texte oder Frage-Antwort-Spiele konditioniert wurde, tolle Ergebnisse liefert.

Eine Demonstration dessen, was mit voller Datenkontrolle möglich ist, zeigt die Offline-KI auf Dr. DSGVO.

Fazit

Einige weitere Frage-Antwort-Paare habe ich hier außen vor gelassen. Nicht selten wurde vom LLaMA 2 -KI Modell keine Antwort gegeben, was besser als eine falsche Antwort ist. Immerhin können zu jeder Frage die Quelldokumente ausgegeben werden, die die Antwort auf die Frage am wahrscheinlichsten liefern.

Momentan sehe ich den Vorteil von LLaMA 2 gegenüber anderen Modellen bezüglich deutscher Texte oder Dialoge nicht. Allerdings ist die Kontextlänge schon ein Argument, das eine nähere Betrachtung des Modells rechtfertigt. Wie sich das freigegebene KI-Modell von Meta nach Fine-Tuning verhält, ist eine andere Frage. Allerdings wird hier wahrscheinlich wenig Aufregendes passieren bzw. analoge Ergebnisse wie bei anderen Modellen zustande kommen (wäre da nicht die Kontextlänge, die längere Antworten besser verarbeiten kann).