Meta heeft waarschijnlijk vanwege de huidige dominantie van Microsoft/OpenAI en Google in het AI-veld zijn krachtige AI-model LLaMA in versie 2 vrijgegeven, ook voor commerciële gebruik. Een lokale uitvoering zonder problemen met privacy, bedrijfsgeheimen of personeelsgegevens is mogelijk. Een praktijktest.
Inleiding
Het door Meta op 18 juli vrijgegeven AI-model van de tweede generatie is een taalmodel (Large Language Model = LLM). Het is geschikt voor het analyseren van tekst. Daardoor kan het onder andere worden gebruikt voor volgende toepassingsmogelijkheden:
- Samenvatting van tekst (abstractive summary = abstraktieve samenvatting = samenvatting in eigen/nieuwe woorden).
- Bedeelde betekenis uit documenten halen (voorbeeld: Wat voor vragen beantwoordt het gegeven document?).
- Zoekmachine voor documenten (vector search = Vektorsuche).
- Antwoorden op vragen met bedrijfsdocumenten als kennisbasis (question-answering = vraag-antwoord-systeem).
- ChatBot (conversational = Konversationen).
Actualisatie: Nieuwere en prestatievermogender taalmodellen worden in de Offline-AI op Dr. GDPR gebruikt.
LLaMA is de afkorting voor Large Language Model Meta AI. Meta AI is een afdeling van het concern Meta, dat zich bezighoudt met kunstmatige intelligentie-toepassingen. Naarmate Meta nu talrijke gegevens over gebruikers heeft opgeslagen op Facebook, Instagram of WhatsApp, worden deze gegevens nu gebruikt voor de training en modellen van kunstmatige intelligentie zoals LLaMA.
Het LLaMA 2-taalmodel kan lokaal en datavriendelijk ook voor commerciële toepassingen worden gebruikt. De hardware-eisen zijn haalbaar.
Zie deze bijdrage en andere bijdrage.
Naast modellen voor taalverwerking zijn er modellen die geschikt zijn voor andere gegevensformaten. Veel mensen hebben waarschijnlijk al van StableDiffusion gehoord, een AI-model waarmee met behulp van een tekstprompt een afbeelding gegenereerd kan worden (Dall-E, Midjourney etc.).
Voor basisinformatie adviseer ik een van mijn eerdere bijdragen over kunstmatige intelligentie:
- Basisprincipes voor AI-systeem. ([1])
- Vraag-antwoord-systeem met AI. ([1])
- Huidige AI is een revolutie en berust niet in het wezenlijke op statistiek. ([1]) ([2])
- Typische toepassingsgevallen, gegevensbescherming, vertrouwelijkheid, misverstanden. ([1])
- Configuratieparameters van een spraakassistent. ([1])
De hardware-eisen voor de kleinere modellen zijn haalbaar. De modelgrootte wordt bepaald door het aantal parameters in het model. Parameters zijn neuronenverbindingen. Algemeen en vereenvoudigd kan men als parameter de hoeveelheid neuronen in het elektronische brein zien.
In AI-modellen worden parameters als volgt afgekort (voorbeelden):
- 7 miljard = 7 Billions
- 13 miljard = 13 Bilions
- 70 miljard = 70 Billions
Het "B" komt van "billion", omdat het Engels geen miljard kent. Een "billion" is dus een miljard. Modellen met bijvoorbeeld 200 miljoen parameters worden dan 200M genoemd. Gelukkig, want in het Nederlands zouden we met "M" voor miljoen en hetzelfde "M" voor miljard wat door elkaar halen.
De parameterhoeveelheid van een model is een zeer goede indicator voor zijn taalbegrip. Hoe hoger deze hoeveelheid, des te beter "praat" of begrijpt dit model een taal. Maar welke taal? De meeste modellen waren tot voor kort alleen op Engels geënt. Echter what er altijd wat bevanging. Dat wil zeggen: Gelukkig zijn sommige teksten op het internet uitnahamselijk ook in het Nederlands en niet in Engels, Chinees of Spaans geschreven. Zo kan een AI-model met voldoende grote parameterhoeveelheid per ongeluk ook Nederlands begrijpen. Dat what niet ironisch bedoeld, al klinkt het zo.
De zoekmachine Bing met een GPT-taalmodel in de achtergrond geeft vaak onjuiste antwoorden.
Mijn mening. Zie bijdrage.
Beslissend voor een model is dus zijn parameteraantal en ook de Ausbildungssprache. Bij grote modellen is er tot nu toe geen dat speciaal op Duits getraind is. Dat kan volgende week anders zijn. Daaraan ziet men heel goed, hoe langzaam sommige bedrijven, overheidsinstanties of wetgevers werken. Terwijl deze in jaren of driejaarstijdramen denken, zijn vier weken in de AI-scène een lange tijdspanne. Veel plezier in de toekomst (die nu begint), als wij allemaal overvallen worden door technologische vooruitgang en problemen. Ik bescherm mij liever zelf en wacht niet op wetten of vonnissen.
Eveneens beslissend voor een kunstmatige intelligentie-model is de zogenoemde Kontextlengte. De Kontextlengte geeft aan hoe groot de tekstfragmenten kunnen zijn die een kunstmatige intelligentie-model kan verwerken. Daarvoor moet het model getraind worden met tekstfragmenten die de Kontextlengte hebben. Hoe groter, hoe beter, maar ook hoe rekenintensiever. Ik had bij Meta gelezen dat voor het trainen talrijke A100-geheugencards met elk 80 GB VRAM (video-RAM, ongelijk gewoonlijk aan CPU-RAM) werden gebruikt. De berekenstijd bedroeg 3,3 miljoen geheugencard-uren. Een A100 is een zeer dure geheugencard. Een stuk kostte tot voor kort 15.000 euro. Zulke kaarten trekken in het maximum 400 Watt stroom uit de stopcontact.
Het LLaMA 2-model heeft een Kontextlengte
Viele Artikel in PDF-Form · Kompakte Kernaussagen für Beiträge · Offline-KI · Freikontingent+ für Website-Checks
My name is Klaus Meffert. I have a doctorate in computer science and have been working professionally and practically with information technology for over 30 years. I also work as an expert in IT & data protection. I achieve my results by looking at technology and law. This seems absolutely essential to me when it comes to digital data protection. My company, IT Logic GmbH, also offers consulting and development of optimized and secure AI solutions.
