Een hulp bij het opzetten van bedrijven en overheden om beter te kunnen inschatten en plannen voor AI-projecten. In verschillende AI-seminaren zijn zich een aantal vragen gesteld door mensen die geïnteresseerd zijn in AI, die als zeer relevant bleken. In dit artikel worden praktische vragen genoemd en pragmatisch beantwoord.
Inleiding
Wie je een probleem met kunstmatige intelligentie wil oplossen, weet men vaak niet of dat mogelijk is en hoe groot de moeite ervan zal zijn. De volgende praktijkgerichte verzameling van antwoorden op vragen over AI-oplossingen laat zien wat wel mogelijk is.
De vragen zijn onder andere afkomstig uit een recent gehouden webinars, maar ook uit andere contacten met klanten en belangstellenden. De antwoorden berusten op ervaringen uit projecten waarin wensen van de klant werden gerealiseerd.
Veel toepassingsgevallen binnen bedrijven kunnen met eigen AI uitstekend en economisch worden opgelost.
De projecten bevatten alle een relevante hoeveelheid AI-programmering. Bij de toepassing werden altijd open-source AI-modellen gebruikt en af en toe ook interfaces naar ChatGPT, Claude 3, Command R+ of andere commerciële taalmodellen.
De antwoorden op de gestelde vragen moeten een oriëntatie geven om beter AI-projecten te herkennen, te beoordelen, te plannen en uit te voeren.
Vragen uit de praktijk over AI en antwoorden
In druk zijn de vragen genoemd, daaronder volgt als normaal tekst de antwoord.
Welk gebruikscase is vooral geschikt voor de introductie van AI?
Vanwege de zeer goede resultaten en de lage hardware-eisen zijn de volgende toepassingsgebieden erg geschikt voor het inzetten van AI-oplossingen – opmerking gemaakt zonder ChatGPT te hoeven gebruiken!
- Kenniszoektocht: Eigen documenten of tickets in het ticketing systeem doorzoeken.
- Zoekfunctie Website: Intelligent zoekfunctie voor tekst en PDF's op de eigen website.
- Beschrijdemanagement: Op basis van eerder gebezigde gevallen een aanbeveling doen aan de medewerker, hoe een huidige klacht het beste wordt behandeld.
- Schaarste-regeling: Analoog aan klachtenbeheer.
- Intelligente internetzoektocht: Zoekresultaten uit zoekmachine worden (via interface/API) en intelligent gesorteerd. Uit 1000 treffers worden zo de ongerelateerde treffers gefilterd.
- Antwoordssysteem voor veelgestelde vragen: Voorwaarde zijn wellicht vraag-antwoordparen of documenten die antwoorden bevatten (de vragen waarop de documenten antwoord geven, kunnen synthetisch gegenereerd worden).
- Klassifikatie van documenten, teksten, titels, afbeeldingen, signalen: elk document toevoegen aan een van meerdere gedefinieerde categorieën. Automatisch leren van de juiste categorieën. Hoog score mogelijk.
Deze applicaties kunnen op de eigen hardware van uw bedrijf of organisatie draaien, zonder dat gegevens naar derden moeten worden gestuurd.
Welke toepassingsgebieden zijn nog geschikt voor een oplossing met kunstmatige intelligentie?
Vooral te noemen zijn:
- Chatbot / Kennissistant: Conversatie met geheugen, antwoord in eigen woorden, gebruik ook van internetkennis voor het vinden van een antwoord…
- Tekstgeneratie: Het creëren van hoogwaardige creatieve teksten, zoals voor blogartikelen; Samenvatting van de inhoud van documenten
- Objectherkenning: Objectklassen (Persoon, Huis, …) op beelden en in video's herkennen, intelligente bewegingsherkenning.
- Afbeeldingen genereren: Beelden naar tekstvraag genereren, beelden gelijkend op ingangsbeeld genereren. Automatische auteursrechtscontrole is mogelijk.
- Vertaling van taal en tekst: Vertaling, spraakuitgave, vertaling van een taal naar één van de 100 andere talen.
De moeite hiervoor is vaak gering. Alleen de hardware-eisen zijn hoger dan voor de toepassingsgevallen die in het vorige hoofdstuk werden genoemd.
Wat is Offline-AI?
Offlinesmart is een geoptimaliseerde AI die zelfs zonder internetverbinding functioneert, maar kan communiceren met de buitenwereld als dat nodig is.
Voordelen:
- Volledige gegevenscontrole
- Beter resultaten dan ChatGPT, Gemini enzovoorts
- Meer voordelig
Meer informatie over offline- AI
Wat zijn de realistische tijdseisen voor een AI-project?
Voor een prototype en een haalbaarheidsstudie is de inspanning vaak zeer gering. Als het om de verwerking van uw gegevens gaat, moeten deze gegevens (net als altijd) ingelezen worden. Dit is een conventionele taak.
De tijd werkt voor u: Start uw AI-project en u kunt er zeker van zijn dat de technologische vooruitgang op het gebied van AI u binnen een paar maanden zal gunstig treffen.
Hoe makkelijk kan een AI-taalmodel worden uitgewisseld met een ander?
Kortom: Meestal is dit kinderachtig mogelijk. Veel taalsystemen volgen dezelfde systeemarchitectuur. Zij kunnen door het wijzigen van minder regels code uitgewisseld worden. Nieuwe, betere taalsystemen kunnen dus als Drop-In Replacement gebruikt worden, om een technisch term te gebruiken.
Hoe hoog zijn de licentiekosten voor AI-programma's en AI-taalmodellen?
De open-source markt biedt in het domein van kunstmatige intelligentie een extreem hoge kwaliteit en actualiteit, die met geen andere open-source markt vergeleken kunnen worden.
Dit betreft zowel AI-frameworks als ook AI-taalmodellen (en andere AI-modellen).
De licentiekosten zijn dus, kortom, nihil.
En wat het eruitziet als de API van ChatGPT e.d. wordt gebruikt. Hier zijn kosten aan verbonden die afhankelijk zijn van de intensiteit van het gebruik.
Kan een AI op eigen hardware worden gedraaid?
Ja. Een plastisch voorbeeld uit de praktijk: Deze tekst werd geschreven op een laptop, waarop AI-taalmodellen met 30 miljard parameters (30B-modellen) draaiden. Wat op een laptop mogelijk is, werkt nog beter op een AI-server.
Zum AI-server: Ofwel huren (van een Duitse of puur Europese aanbieder) of kopen. De hoofdkosten bij aankoop ontstaan uit de kosten van de grafische kaart(en).
Voor veel toepassingsgevallen, zoals bijvoorbeeld het zoeken naar informatie of voor de generatie van aanbevelingen voor schademeldingen of klachten van klanten, is Minimale hardware namelijk voldoende.
Hoe groot is de zorgvraag voor een AI-toepassing?
De zorgbehoefte is eerder lager dan bij andere IT-systemen, vaak zelfs nul. Als er nieuwe kennisdocumenten zijn, kunnen deze automatisch ingelezen en verwerkt worden. De behoefte ontstaat van nature als nieuw weten wordt verzameld om de kwaliteit van het systeem te verbeteren of nieuw weten toe te voegen. Zonder toevoeging van nieuw weten is de behoefte eerder nul.
Kan aan een AI-toepassing na de inbedrijfstelling nieuw weten worden toegevoegd?
Yes, dat is op meerdere manieren mogelijk.
De eenvoudigste manier is het selecteren van nieuw weten dat bij een gebruikersvraag past, om het aan het taalmodel te presenteren om zijn antwoord te vergemakkelijken.
Duurzaam is het fijne trainen van het taalmodel met het nieuwe kennis. Het taalmodel wordt hier zogezegd verder opgeleid.
Voor het trainen van de AI zijn voorbeelden nodig.
Kunnen trainingsgegevens worden gegenereerd als er te weinig voorbeelden zijn?
Yes, dat is mogelijk. Daarvoor worden kunstmatige voorbeelden gegenereerd. Dit noemt men synthetische datasets. Voor de generatie van synthetische datasets wordt een taalmodel gebruikt. Voor openbare data kan een cloud-service als ChatGPT, Command R+ o.a. gebruikt worden, als je dat zelf goed vindt. Vaak beter, omdat het ook zonder verdere kosten mogelijk is, is de gebruikmaking van een lokaal taalmodel. Dit lokale model kan bovendien opgeleid worden om vooral goed te zijn in het genereren van synthetische trainingsdata.
Een andere voordelen van lokale modellen is de mogelijkheid om deze continu (24/7) te laten draaien en synthetische data te genereren. Wat met ChatGPT een paar tienduizend euro per maand kost, doet een lokaal AI-model voor een vaste prijs. De vaste kosten bestaan uit de exploitatiekosten van uw hardware. Als u huurt, bedragen deze enkele honderden euro's per maand. Koop een systeem of hebt u er al een, dan ontstaan alleen maar stroomkosten bij het gebruik.
Hieraan ziet men al dat erheblijke strategische voordelen en mogelijkheden ontstaan, als men zich een beetje meer moeite getroost dan alle anderen, die uit gemakzucht de vermeende betere oplossing "ChatGPT" gebruiken.
Hoe betrouwbaar zijn de antwoorden van een taalmodel / chatbot / AI-systeem?
Het is net als bij mensen: niemand weet het, behalve hij die het al eerder wist.
Concreet: Taalmodellen leveren in normaal gebruik vaak juiste antwoorden, maar niet vaak genoeg om van betrouwbaarheid te spreken kunnen worden. zelfs ChatGPT faalt bij specifieker gestelde vragen die zich niet zozeer om de hoogte van de Eiffeltoren draaien.
De zoektocht naar kennis in documenten heeft zelfs een hoge betrouwbaarheid.
De betrouwbaarheid van chatbots kan aanzienlijk worden verbeterd door intelligente aanvullende technieken. De moeite hiervoor is gering.
Erkenning: „Er is geen gratis lunch“. Je moet je een beetje moeite getroosten om een hoge betrouwbaarheid te krijgen. De inspanning voor de moeite is vaak overzichtelijk en is economisch haalbaar.
Hoe kan men voorkomen dat gegevens naar ChatGPT of andere AI-anbieders stromen?
Een datalek naar OpenAI of Microsoft kan alleen voorkomen worden als je ChatGPT niet gebruikt.
Gebruik ChatGPT en u kunt de datastroming niet eens voorkomen. Vaak zijn de privacyinstellingen ten koste van de klant (Opt-Out in plaats van Opt-in). De afvoer van uw gegevens kan alleen rechtelijk, dus theoretisch gezien, worden voorkomen.
Wat voor soort privacyproblemen kunnen zich voordoen bij het gebruik van een app als HeyGen?
HeyGen staat hier slechts als plaatsvervanger voor veel AI-toepassingen van dit soort, waarmee synthetisch materiaal gegenereerd kan worden.
HeyGen is een online beschikbaar hulpmiddel om een video te maken. Hierbij wordt de eigen stem gekloned, op een ander gezicht gelegd en de lippen worden daarbij gesynchroniseerd. Een tekstinvoer wordt als spraak in de geklond stem uitgebracht.
Als uw marketingmedewerker zelf HeyGen aanbeveelt en vrijwillig zijn eigen stem laat klonen, heeft hij misschien ook geen bedenktijdrecht omdat hij eerder geen toestemming gaf die hij had kunnen intrekken. Anderszins moet rekening gehouden worden met het feit dat voor de gebruikmaking van een menselijke stem mogelijk toestemming van de stemhouder moet worden verkregen.
Is ChatGPT het beste taalmodel?
Waarschijnlijk niet meer. ChatGPT levert verbazingwekkende resultaten, maar werd niet speciaal voor de Duitse taal getraind. Bovendien is het "oud", het is gebaseerd op een architectuur die nu als verouderd moet worden beschreven. Alleen al de enorme hoeveelheid gegevens en de enorme omvang (aantal kunstmatige neuronen en -verbindingen) zorgen voor een concurrerende prestatie.
De kosten van ChatGPT zijn niet concurrerend, omdat ze soms meer dan het dubbele bedragen van vergelijkbare taalmodellen van andere aanbieders. Mistral uit Frankrijk heeft bijvoorbeeld een heel goed model in de verkoop, eveneens Cohere uit de VS. De buiten-Europese aanbieders zijn beter geschikt voor toepassingen waarin het niet om kritische gegevens gaat en geen kennisuitstroom te vrezen is.
Open-source modellen zijn nu zo goed dat ze concurrerend zijn. Ze worden bovendien steeds beter en kunnen zelfs door anderen worden bedreven.
Wat moet er bij het gebruik van een AI-telefoonbeantwoorder in acht worden genomen?
Hiermee wordt een (statische) berichting bedoeld dat met een AI-toepassing is gemaakt.
De synthetische stem zou niet te veel op die van een echte persoon (met herkenbare stem) moeten lijken. Voor het synthsizeren van de stem moet het oorspronkelijke materiaal ongevaarlijk zijn voor auteursrechten.
Alles andere is niet van belang. Vooral wordt hierdoor geen gebruik gemaakt van kunstmatige intelligentie voor de verwerking van persoonsgegevens.
Wat zou een AI-programmeur moeten weten?
Diep technische kennis en programmeerervaring zijn zeer van pas. Wie nog nooit dieper in de AI-programmering heeft gewerkt, zou niet moeten beginnen met een AI-systeem op te bouwen van nul totaal.
AI is een zeer complex onderwerp met talrijke snelle ontwikkelingen. Vooral moeten kennis in Python en Linux/Ubuntu (e.d.) aanwezig zijn. Als de technische grondbegrippen van kunstmatige intelligentie bekend zijn, doet dat geen kwaad. Ook kennis in het programmeren van interfaces is van nut. Of de programmeur degene is die het systeem voor het eerst instelt en vanaf de basis installeert, is een andere zaak. Vaak is het zinvol als iemand anders dit doet.
Wat AI betreft, is het op de korte termijn van voordeel als de technische contactpersoon (vaak de programmeur/ontwikkelaar) intensief de snelle ontwikkelingen op het technische AI-gebied volgt en kent.
Kan kunstmatige intelligentie ook voor andere taken dan voor tekstverwerking worden gebruikt?
Yes. Hier wordt gesproken over modaliteiten. Modaliteiten zijn soorten gegevens, dus tekst, beeld, video, geluid, temperatuursensordata, web-analysegegevens e.d.
Er zijn talloze modellen voor AI beschikbaar, en dat zijn allemaal open-source, dus vrij verkrijgbaar. Bijvoorbeeld kun je uit video's of podcasts de taal halen en omzetten naar tekst. Dat gaat met eigen AI-systemen op basis van open-source beter dan bijvoorbeeld met Microsoft Teams! Als we de thematiek van de gegevenscontrole even buiten beschouwing laten.
Welken computer adviseren u mij als werkplek voor een AI-computer?
Het is erop gericht of je wilt programmeren of "alleen maar" als gebruiker met AI wilt werken.
Ik zou voor programmeren een Ubuntu-systeem aanbevelen. Ook mogelijk is Windows met WSL, wat geschikt is voor beginners maar niet voor professionals.
Als gebruiker kunt u een pc (of notebook) van uw keuze nemen, die entweder een KI-gevoelige grafische kaart met mogelijk zo veel VRAM mogelijk bevat (NVidia) of een KI-chip van Apple (ongeveer de M3). Alles andere is bijna niet belangrijk. Wat wel belangrijk is, is een harde schijf van minimaal 1 TB, het liefst met snelle SSD-technologie. RAM van minimaal 32 GB.
Slotopmerkingen
Er zijn nog veel meer vragen waarop antwoord gegeven kan worden. U mag zich niet schamen om uw vragen te stellen. Uw vraag zal met plezier beantwoord worden.
Als u een eerste indicatie van de haalbaarheid of de omvang van uw project nodig heeft, kunt u hierom graag een realistisch advies krijgen.
My name is Klaus Meffert. I have a doctorate in computer science and have been working professionally and practically with information technology for over 30 years. I also work as an expert in IT & data protection. I achieve my results by looking at technology and law. This seems absolutely essential to me when it comes to digital data protection. My company, IT Logic GmbH, also offers consulting and development of optimized and secure AI solutions.
