Kunstig intelligens: Ofte stillede spørgsmål og svar

En hjælper til virksomheder og myndigheder, for at bedre kunne vurderer og planere AI-projekter. I flere AI-seminarer har nogle spørgsmål fra AI-interesserede været særligt relevante. I denne artikel nævnes spørgsmål fra praksis og bliver pragmatisk besvarede.

Indledning

Den, der vil løse et problem med kunstig intelligens, ved ofte ikke, om det er muligt eller hvor stor indsats det kræver. Den følgende praksisbaserede samling af svar på spørgsmål til AI-løsninger viser, hvad der er muligt.

Spørgsmålene stammer blandt andet fra et nærtidsholdt webinar, men også fra andre kontakter med kunder og interesserende. Svarerne bygger på erfaringer fra projekter, hvor kundens ønsker er blevet gennemført.

Projektene indeholdt alle en relevant andel af AI-programmering. Til anvendelse kom altid åbne kilder AI-modeller og tilfældigvis også grænseflader til ChatGPT, Claude 3, Command R+ eller andre kommercielle sprogmodeller.

Svarene på de nævnte spørgsmål skal give en orientering for at kunne bedre genkende, vurdering, planlægge og udføre AI-projekter.

Spørgsmål fra praksis til AI og svar

I en bog med fet skrift er hverken spørgsmålet eller svaret nævnt. Under følger som almindelig tekst svaret.

Hvilken anvendelse er særligt egnet til at introducere sig for AI?

Takket være de meget gode resultater og de små hardwarekrav, er følgende anvendelsesfald meget egnet til at begynde med AI-løsninger – bemærk venligst, uden at skulle bruge ChatGPT!

• Kunstig intelligens søgning: Egne dokumenter eller tickets i ticketsystemet igennemløbe.
• Søgefunktion Websted: Intelligent søgefunktion for tekster og PDF'er på din egen hjemmeside.
• Besvarelsesmanagement: Med henblik på tidligere sager give en anbefaling til medarbejderen, hvordan en aktuel besvarel bedst behandles.
• Skadeafhandlinger: Analog til klageforvaltning.
• Intelligente internetrecherche: Få søgeresultater fra en søgemaskine (gennem Schnittstelle/API) og intelligent sige dem igennem. Ud af 1000 treffere bliver de irrelevante treffere fjernet.
• Svarssystem til ofte stillede spørgsmål: Forudsætningen er enten spørgsmål-til-svar-par eller dokumenter, der indeholder svar (spørgsmålene, som dokumenterne besvare, kan syntetisk genereres).
• Klassifikation af dokumenter, tekster, overskrifter, billeder, signaler: Tilordne hvert dokument til en af flere definerede kategorier. Automatiske træning af de rette kategorier. Høj præcisionsmulighed.

Disse anvendelser kan foregå på egen hardware i dit firma eller organisation uden at der skal sendes data til tredje part.

Hvilke anvendelsesfald egner sig fortsat til en løsning med AI?

Særligt kan nævnes:

• Chatbot / Videnskabsspecialist: Konversation med hukommelse, svar i egen ordlyd, brug også af internettet til at finde svaret …
• Tekstgenerering: Omsætning af højkvalitets kreative tekster, f.eks. til blog-artikler; Sammenfattelse af indholdet i dokumenter
• Objekterkenning: Objektklasser (Person, Hus, …) på billeder og i videoer genkende, intelligente bevægelsesgenkendelse.
• Billeddannelse: Generere billeder efter tekstindgivelse, generer billeder lignende det indgivne billede. Automatiske opfølgende rettighedskontroll er mulig.
• Oversættelse af sprog og tekst: Transkription, sproglig fremstilling, oversættelse fra ét sprog til et af 100 andre sprog.

Denne indsats er ofte lille. Kun hardwarekravene er højere end for de anvendelsesfald, der nævnt i den foregående afsnit.

Hvad er Offline-AI?

Udlogget AI er en optimeret AI, der selv uden internetsforbindelse fungerer, men kan kommunikere med den yderste verden, hvis nødvendigt.

Fordelene:

• Full data control
• Ofte bedre resultater end ChatGPT, Gemini o.l
• Ofte billigere

Yderligere oplysninger om offline-KI

Hvad er en realistisk tidsindsats for et AI-projekt?

For en prototyp og en mulighedsprøve er indsatsen ofte meget lille. Når det gælder behandlingen af dine data, skal disse data (som altid) læses ind. Det er en konventionel opgave.

Tiden arbejder for dig: Start din AI-projekt, så kan du være sikker på, at den tekniske fremgang i det AI-område vil gavnligge dig inden få måneder.

Hvad let nemt kan en AI-sprogmodel udskiftes med et andet?

Kurz gesagt: Meistens is dies kinderleicht möglich. Viele LLMs folgen derselben Systemarchitektur. Sie können durch Ändern weniger Zeilen Code ausgetauscht werden. Neue, bessere LLMs können also als Drop-In Replacement genutzt werden, um einen technischen Terminus zu benutzen. Kort sagt: Det er ofte let at gøre. Mange sprogmodeller følger samme systemarkitektur. De kan udskiftes ved at ændre få linjer kode. Nye, bedre sprogmodeller kan således bruges som Drop-In Replacement, hvis man vil bruge en teknisk term.

Hvad er omkostningerne for licensen til AI-programmer og AI-sprogmodeller?

Den åbne kilde-markeds plads tilbyder i AI-feltet en meget høj kvalitet og aktualitet, der ikke kan sammenlignes med nogen anden åben kilde-markeds plads.

Det gælder både AI-frameworks som også AI-sprogmodeller (og andre AI-modeller).

Licensomkostningerne er således, kort sagt, ikke noget.

Og hvordan ser det ud, når man bruger ChatGPTs API osv.? Her falder der omkostninger til, som afhænger af intensiteten i bruget.

Kan en AI på egen hardware køres?

Ja. Et plastisk eksempel fra praksissen: Denne tekst blev skrevet på en laptop, hvor der kører KI-sprogmodeller med 30 milliarder parametre (30B-modeller). Hvis det er muligt at gøre det på en laptop, fungerer det endnu bedre på en KI-server.

Til AI-server: Entweder leje (fra tyske eller rent europæiske leverandører) eller købe. De hovedkostnader ved køb opstår af udgifterne til grafikkortet.

For mange anvendelsesfald, som f.eks. søgning efter informationer eller generering af anbefalinger til skadeanmeldelser eller kundeklag, er dog en Mindstehardware nok.

Hvad er omkostningerne ved pleje af en AI-applikation?

Omsorgsbehovet er mere lavt end for andre IT-systemer, ofte også null. Når nye kundskabsdokumenter findes, kan disse automatisk læses ind og behandles. Behovet opstår naturligvis, når nye kundskaber samles sammen til at forbedre kvaliteten af systemet eller tilføje nye kundskaber. Uden tilføjelse af nye kundskaber er behovet mere mod null.

Kan en AI-anvendelse efter indsættelsen få tilføjet nye kendsgerninger?

Yes, det er på flere måder muligt.

Den enkleste måde er at vælge ny viden, der passer til en brugerens spørgsmål, for at præsentere det modellen til at lette sin svar.

Mere holdbar er at finejustere sprogmodellen med det nye kendskab. Sprogmodellen bliver her så at sige viderefundet.

Der skal eksempler til for at opfylde AI.

Kan træningsdata oprettes, hvis der ikke er nok eksempler til rådighed?

Yes, det er muligt. Dertil bliver kunstige eksempler skabt. Det kaldes syntetiske datamængder. Til at skabe syntetiske datamængder bruges et sprogmodel. Til offentlige data kan en cloud-tjeneste som ChatGPT, Command R+ o.sv. anvendes, hvis det selv passer jer godt. Ofte bedre, fordi også uden yderligere omkostninger muligt, er at anvende et lokalt sprogmodel. Dette lokale model kan desuden trænes til at være særlig god til at generere syntetiske træningsdata.

En yderligere fordel ved lokale modeller er muligheden for at de kan være i drift hele døgnet (24/7) og generere syntetiske data. Det, der ville koste med ChatGPT omkring 20.000 kr. om måneden, gør et lokalt AI-modt til en fast pris. Denne faste pris består af driftskostnader for din hardware. Hvis du lejer hardware, er disse omkring 500 kr. om måneden. Køber du et system eller har du allerede et, opstår kun strømkostnader under drift.

Her ser man allerede, at der er opnået strategiske fordele og muligheder, hvis man tager sig lidt mere ud af det end andre, som på grund af bekvemhed vælger den forenklede løsning "ChatGPT".

Hvor tillidsværdige er svar fra et språkmodel/SMS/chatbot/AI-system?

Det er som hos menneskene: Ingen ved det, bortset fra han kendte svaret allerede før.

Konkret: Sprogmodeller leverer i traditionel drift ofte korrekte svar, men ikke ofte nok til at tale om tillid værdigt. Selv ChatGPT mislykker ved mere specifikke spørgsmål, der ikke nødvendigvis drejer sig om Eiffeltårnets højde.

Søgningen efter viden i dokumenter har selv en høj tillidensværdighed.

Tillid til chatbots kan væsentligt forbedres ved hjælp af intelligente tilføjelige tekniker, hvilket kræver en lille indsats.

Der er ingen gratis lunch. Man skal lidt besvær tage, for at få en høj tilførlighed. Omfanget af besværet er ofte overblikkeligt og økonomisk muligt.

Hvordan kan man forhindre, at data flyder til ChatGPT eller andre AI-leverandører?

Man kan forehindre en datastrøm til OpenAI eller Microsoft kun ved ikke at bruge ChatGPT.

Brug ChatGPT, så kan man ikke forhindre dataudstråling overhovedet. Ofte er kundens privatpolitiske indstillinger til skade (Opt-Out i stedet for Opt-in). Dataudstrålingen kan kun hindres gennem rettigheder, altså rent teoretisk.

Hvilke persondata-rechtlige problemer kan opstå ved brug af en app som HeyGen?

HejGen står her kun som en placeholder for mange AI-tilfælde af denne art, hvorved syntetiske indhold kan genereres.

HeyGen er et online tilgængeligt værktøj, hvorved man kan lave en video. Her bliver ens egen stemme klonet, lagt på et andet ansigt og mundingen synkroniseret med den klonede stemme. En tekstindgang udgives som tale i den klonede stemme.

Hvis jeres markedsføringsmedarbejder selv foreslår HeyGen og frivilligt låner sin egen stemme, så har han muligvis også ikke ret til at trække det tilbage, fordi han først ikke gav tilladelse, som han kunne trække tilbage. I ellers tilfælde skal man huske på, at der må være tilladelse fra ejeren af stemmen, hvis en menneskelig stemme skal bruges.

Er ChatGPT det bedste sprogmodel?

Sandsynligvis ikke længere. ChatGPT leverer fantastiske resultater, men er dog ikke specielt trænet til at tale dansk. Desuden er det "gammt", det bygger på en arkitektur, der nu må betegnes som forældet. Alene den store mængde data og størrelsen (antal kunstige neuroner og -forbindelser) gør det til en konkurrencedygtig præstation.

Kostnaden for ChatGPT er ikke konkurrencedygtige, da de i sammenligning delvist er mere end dobbelt så høje som ved lignende sprogmodeller fra andre leverandører. Mistral fra Frankrig har f.eks. et meget godt modul tilbudt, ligeledes Cohere fra USA. De udenfor-europæiske leverandører er mere egnet til anvendelser, hvor det ikke drejer sig om kritisk data og ingen videregivelse af viden skal frygtes.

Åbne-kilde-modeller er nu så fremragende, at de er konkurrencedygtige. De bliver også bedre og kan selv drives.

Hvad skal man være opmærksom på ved drift af en AI-telefonbesvarer?

Her menes en (statisk) meddelelse, der er skabt ved hjælp af en AI-applikation.

Den syntetiske stemme skulle ikke være for lignende en virkelig persons (med genkendelig stemme). For at syntheisere stemmen skal det udgangsstof være urheberrettighedsfrit.

Der er ikke noget væsentligt at tage hensyn til. I dette tilfælde bliver der ved hjælp af AI hverken behandlet persondata.

Hvilke kundskaber skal en programmer af kunstig intelligens have?

Dybt teknisk kendskab og programmeringserfaring er meget til gavn. Den, der aldrig har arbejdet dybere med AI-programmering, skal ikke begynde at opbygge et AI-system fra bunden af.

AI er et meget komplekst emne med mange hurtige udviklinger. Især skal der være kendsgernhed i Python og Linux/Ubuntu (o.l.) Der skader det ikke, hvis de tekniske grundprincipper for kunstig intelligens er kendt. Også kendsgernhed i grænsefladen til programmøringsprogrammering er til gavn. Om programmereren er den der først indretter systemet og installerer det fra bunden, er en anden spørgsmål. Ofte er det meningsfuldt hvis nogen anden gør det.

Hvis det drejer sig om AI, er det i midtermenge fordelagtigt, hvis den tekniske kontaktperson (ofte programmereren/udvikleren) intensivt følger og kender de hurtige udviklinger på det tekniske AI-marked.

Kan AI også bruges til andre opgaver end tekstbehandling?

Yes. Her taler man om modaliteter. Modaliteter er dataformer, altså tekst, billeder, video, lyd, temperaturmålinger, web-analysedata osv.

Der er mange modaliteter, hvor der findes AI-modeller, og de er alle åbne kilder, dvs. fri tilgængelige. Eksempelvis kan man udtrække sproget fra videoer eller podcasts og omforme det til tekst. Det går bedre med egne AI-systemer på åben kildebasis end f.eks. Microsoft Teams! Problemet med datakontrol er her ikke i spørgsmålet.

Hvilken computer kan jeg anbefale til min AI-arbejdspladscomputer?

Det er op til dig, om du vil programmerer eller blot arbejde med AI som bruger.

For programmering anbefaler jeg et Ubuntu-system. Muligt er også at bruge Windows med WSL, der er godt til indgangen, men ikke egnet for professionelle.

Som bruger kan du vælge en PC (eller bærbar computer) til din behov, der enten har en KI-førende grafikcard med så meget VRAM som muligt (NVidia) eller en KI-chip fra Apple (f.eks. M3). Alt andet er næsten ligegyldigt. En hårdeste med mindst 1 TB, helst med hurtig SSD-teknologi. RAM på 32 GB.

Afslutningsskrivelser

Der er sikkert mange flere spørgsmål. Tøv ikke med at stille dem. I får gerne en svar.

Selv om du har brug for en første vurdering af muligheden eller indsatsen til dit projekt, vil du gerne få en realistisk tilbagevisning.