En hjälp för företag och myndigheter att bättre bedöma och planera AI-projekt. I flera AI-seminarier har några frågor från AI-intresserade framstått som särskilt relevanta. I detta inlägg nämns frågor från praktiken och besvaras på ett pragmatiskt sätt.
Inledning
När man vill lösa ett problem med artificiell intelligens vet man ofta inte om det är möjligt eller hur stor ansträngning det kräver. Den här praktikbaserade samlingen av svar på frågor till AI-lösningar visar vad som är möjligt.
Frågorna kommer bland annat från ett nyligen hållt webinariet, men också från andra kontakter med kunder och intressenter. Svar baseras på erfarenheter från projekt där kundens önskemål har genomförts.
Många tillämpningsfall i företag kan med egen AI lösas utmärkt och ekonomiskt.
Projekten innehöll alla en relevant del av AI-programmering. Till användning kom alltid öppen källkod för AI-modeller och ibland även gränssnitt till ChatGPT, Claude 3, Command R+ eller andra kommersiella språkmodeller.
Svar på de nämnda frågorna ska ge en orientering för att bättre kunna identifiera, bedöma, planera och genomföra AI-projekt.
Frågor från praktiken om AI och svar
I tryck är frågan angiven. Därnerefter följer som vanlig text svar.
Vilken användningsfall är särskilt lämplig för att börja med AI?
På grund av de mycket bra resultaten och de låga kraven på hårdvara är följande användningsfall mycket lämpliga för att börja med AI-lösningar – värderat utan att behöva använda ChatGPT!
- Kunskapsförsök: Söka efter egna dokument eller tickets i ticket-systemet.
- Sökfunktion Webbplats: Intelligenta sökfunktion för texter och PDF på den egna webbplatsen.
- Klagomålsbehandling: Med hjälp av tidigare fall ge en rekommendation till medarbetaren om hur den aktuella besvärden bäst hanteras.
- Skadereglering: Liknande till besvärshantering.
- Intelligenta internetssökning: Få sökresultat från en sökmotor (via gränsnitt/API) och särskilja dem intelligent. Av 1000 träffar kan man på så sätt utfiltera de ointressanta träffarna.
- Svarssystem för vanliga frågor: Förutsättningen är antingen fråga-svar-par eller dokument som innehåller svar (frågorna som dokumenten besvarar kan syntetiskt genereras).
- Klassificering av dokument, texter, rubriker, bilder, signaler: Tillskriva varje dokument till en av flera definierade kategorier. Automatisering av lärande av rätt kategori. Hög träffsäkerhet möjlig.
Dessa program kan köras på den egna hårdvaran hos ert företag eller organisation utan att data behöver skickas till tredje part.
Vilka användningsfall lämpar sig fortfarande för en lösning med AI?
Särskilt kan nämnas:
- Chatbot / kunskapsassistent: Samtal med minnesfunktion, svar i egen ordning, användande även av internetkunskap för att hitta svaret …
- Tekstgenerering: Skapande av högkvalitativa kreativa texter, till exempel för blogginlägg; Sammanfattning av innehållet i dokument
- Objekterkännande: Objekttyper (Person, Hus, …) på bilder och i videor identifiera, intelligenta rörelser identifiera.
- Bildskapande: Skapa bilder efter textbeskrivning, skapa bilder liknande ingående bild. Automatiserad upphovsrättsprövning är möjlig.
- Översättning av språk och text: Transkription, talversion, översättning från ett språk till ett av 100 andra språk.
Kostnaden för detta är ofta låga. Endast de krav som ställs på hårdvaran är högre än för de användningsfall som nämnts i föregående avsnitt.
Vad är Offline-AI?
Avsynnings- och kognitiv intelligens (AI) är en optimerad AI som fungerar utan internetuppkoppling, men kan kommunicera med omvärlden när det behövs.
Fördelar:
- Full kontroll med data
- Bättre resultat än ChatGPT, Gemini o.s.v
- Ofta billigare
Vilka tidsresurser är realistiska för ett AI-projekt?
För en prototyp och en genomgång av möjligheterna är ofta insatsen mycket liten. När det gäller att bearbeta dina data måste dessa data (som vanligt) läsas in. Det är en konventionell uppgift.
Tiden arbetar åt er: Starta upp era AI-projekt och ni kan vara säkra på att teknologin i AI-området kommer att gynna er inom några månader.
Hur lätt kan ett AI-språkmodell bytas ut mot ett annat?
I kort och gott: Detta är oftast barnsligt enkelt att göra. Många språkmodeller följer samma systemarkitektur. De kan bytas ut genom att ändra färre rader kod. Nya, bättre språkmodeller kan alltså användas som Drop-In Replacement, för att använda ett tekniskt begrepp.
Hur höga är licenskostnaderna för AI-program och AI-språkmodeller?
Den öppna källkoden marknaden erbjuder inom AI-fältet en extrem hög kvalitet och aktualitet, som inte kan jämföras med någon annan öppen källkodsmarknad.
Det gäller såväl AI-förordningar som AI-språkmodeller (och andra AI-modeller).
Licenskostnaderna är alltså, förkortat sagt, noll.
Och hur ser det ut när man använder ChatGPTs API etc.? Då uppstår kostnader som varierar beroende på intensiteten av användningen.
Kan en kognitionskapacitet drivas på egen hårdvara?
Ja. Ett plastiskt exempel från praktiken: Denna text skrevs på en laptop där kognitiva språkmodeller med 30 miljarder parametrar (30B-modellerna) körs. Vad som är möjligt att göra på en laptop fungerar ännu bättre på en kognitiv server.
Till AI-servern: Antingen hyra (från tyska eller rena europeiska leverantörer) eller köpa. De huvudsakliga kostnaderna vid inköp uppstår från kostnaden för grafikkorten.
För många användningsfall, som till exempel kunskapsforskning eller för att generera rekommendationer till skadeanmälningar eller kundklagomål, räcker dock en Minsta hårdvara.
Hur stor är vården för en AI-användning?
Den vårdande ansträngningen är snarare lägre än för andra IT-system, ofta också noll. Om det finns nya kunskapsdokument finns de automatiskt kan läsas in och bearbetas. Ansträngningen uppstår naturligtvis när ny kunskap samlats ihop för att förbättra kvaliteten på systemet eller lägga till ny kunskap. Utan att lägga till ny kunskap är ansträngningen snarare noll.
Kan en kognitiv it-ansökan efter driftsättning få tillgång till nya kunskaper?
Yes, det är på flera sätt möjligt.
Den enklaste möjligheten är att välja nytt kunskap som passar till en användares fråga, för att presentera det för språkmodellen för att underlätta svar.
Mer hållbart är att finjustera språkmodellen med det nya kunnandet. Språkmodellen utbildas här på ett sätt så att den blir mer avancerad.
För att träna upp känsligheten hos en AI behövs exempel.
Kan träningsdata genereras om det finns för få exempel?
Yes, det är möjligt. Till detta skapas artificiella exempel. Detta kallas syntetiska datamängder. För att skapa syntetiska datamängder används ett språkmodell. För offentliga data kan en molntjänst som ChatGPT, Command R+ o.s.v. användas, om du tycker det är bra. Ofta bättre, eftersom det också är möjligt utan ytterligare kostnad, är att använda ett lokalt språkmodell. Detta lokala modell kan dessutom tränas för att vara extra bra på att generera syntetiska utbildningsdata.
Ett ytterligare fördel med lokala modeller är möjligheten att beordra dem att generera syntetiska data dygnet runt (24/7). Vad som skulle kosta några tiotal tusen euro per månad med ChatGPT kan ett lokalt AI-modell utföra för en fixkostnad. Fixkostnaden består av driftskostnaderna för din hårdvara. Om du hyr in hårdvara är dessa några hundra euro per månad. Köper du ett system eller har du redan ett, uppstår bara strömkostnader vid drift.
Man ser redan här att det finns betydande strategiska fördelar och möjligheter om man tar sig lite mer tid än alla andra, som av bekvämlighet använder den uppenbara bättre lösningen "ChatGPT".
Hur tillförlitliga är svar från ett språkmodell / chattbot / kognitivt system?
Det är som med människorna: Ingen vet det, utom han som redan tidigare visste svaret.
Specifikt: Språkmodeller levererar i traditionell drift ofta rätt svar, men inte ofta nog för att tala om tillförlitlighet. Även ChatGPT misslyckas med mer specifika frågor som inte direkt handlar om Eiffeltornets höjd.
Sökningen efter kunskap i dokument har själv en hög tillförlitlighet.
Tillförlitligheten hos chattrobotar kan betydligt förbättras med intelligenta tilläggs tekniker. Ansträngningen härvid är låg.
Det finns ingen gratis lunch. Man måste göra sig lite besvär för att få en hög tillförlitlighet. Ansträngningen för det besväret är ofta överskådlig och ekonomiskt genomförbar.
Hur kan man förhindra att data flyger till ChatGPT eller andra AI-leverantörer?
Man kan hindra ett datautflöde till OpenAI eller Microsoft bara om man inte använder ChatGPT.
Använd ChatGPT och du kan inte hindra datautflödet alls. Ofta är dataskyddsinstruktionerna till nackdel för kunderna (Opt-Out istället för Opt-in). Endast rättsligt, alltså i teorin, kan utflödet av dina data hindras.
Vilka dataskyddsrättsliga problem kan uppstå vid användning av en app som HeyGen?
HeyGen står här bara som en platsförare för många AI-användningar av denna typ, med vilka syntetiska innehåll kan genereras.
HeyGen är ett online tillgängligt verktyg för att skapa en video. Därav klonas den egna rösten, läggs på ett annat ansikte och liparna synkroniseras med den. En textinmatning ges ut som språk i den klonade rösten.
Om erbjudande av marknadsföringspersonal själv HeyGen föreslår och frivilligt låter klonar sin egen röst, så kanske han inte har något rätt att ångra sig, eftersom han tidigare inte gav ett samtycke som han kunde ångra. Annars bör man observera att för användningen av en mänsklig röst kanske ett samtycke från ägaren till rösten måste inhämtas.
Är ChatGPT det bästa språkmodellen?
Sannolikt inte längre. ChatGPT levererar imponerande resultat, men har inte tränats specifikt för den tyska språket. Dessutom är det "gammalt", det bygger på en arkitektur som nu måste betraktas som överkurs. Bara mängden data och storleken (antal künstliga neuron och -förbindelser) säkerställer en konkurrensfärdig prestation.
Kostnaderna för ChatGPT är inte konkurrenskraftiga eftersom de delvis är mer än dubbelt så höga som vid jämförbara språkmodeller från andra leverantörer. Mistral från Frankrike har till exempel ett mycket bra modell att erbjuda, likaså Cohere från USA. De icke-europeiska leverantörerna lämpar sig bättre för tillämpningar där det inte handlar om kritiska data och ingen kunskapsflöde ska befaras.
Öppna källkodsmallar är nu så bra att de är konkurrenskraftiga. De blir dessutom allt bättre och kan även drivas av användarna själva.
Vad ska man vara uppmärksam på vid drift av en AI-anropsautomat?
Här avses en (statisk) meddelande som skapats med hjälp av en AI-användning.
Den syntetiska rösten ska inte vara för lik en verklig persons (med igenkännbar röst) röst. För att skapa den syntetiska rösten bör det ursprungliga materialet vara uråldrigt och inte upphovsrättsligt skyddat.
Innanför detta är ingenting väsentligt att notera. Särskilt behandlas här genom AI inte personuppgifter.
Vilka kunskaper bör en programmerare av kognitiv art ha?
Brett teknisk kunskap och programmeringserfarenhet är mycket till nytta. Den som aldrig tidigare har arbetat med AI-programmering bör inte börja bygga upp ett AI-system från grunden.
AI är ett mycket komplext ämne med många snabba utvecklingar. Framför allt bör kunskaper i Python och Linux/Ubuntu (o.s.v.) finnas tillgängliga. Om tekniska grunderna för artificiell intelligens är kända skadar det inte heller. Även kunskap inom gränssnittsprogrammering är fördelaktigt. Om programmetören är den som sätter upp systemet första gången och installerar det från grunden, är det en annan fråga. Ofta är det meningsfullt om någon annan gör det.
När det gäller AI är det medellångsiktigt fördelaktigt om den tekniska kontaktpersonen (oftast programmeraren/utvecklaren) intensivt följer och känner till de snabba utvecklingarna på den tekniska AI-marknaden.
Kan AI också användas för andra uppgifter än för textbearbetning?
Yes. Man talar här om modaliteter. Modaliteter är datortyper, alltså text, bild, video, ljud, temperaturmätvärden, webbanalysdata osv.
För många modaliteter finns det AI-modeller, och de är öppen källkod, alltså fritt tillgängliga. Till exempel kan man utvinna språket från videor eller podcast och omvandla det till text. Det går bättre med egna AI-system på öppen källkodsbasis än till exempel Microsoft Teams! (För att glömma ämnet datakontroll.).
Vilken dator rekommenderar du som arbetsplats för min AI?
Det handlar om om du vill programmera eller bara använda AI som en vanlig användare.
För programmering rekommenderar jag ett Ubuntu-system. Möjligt är också Windows med WSL, vilket är lämpligt för en bra inledning men inte för professionella.
Som användare kan du välja en dator (eller laptop) som har antingen en KI-kapabel grafikkort med så mycket VRAM som möjligt (NVidia) eller ett KI-chip från Apple (t.ex. M3). Allt annat är nästan ointressant. En hårddisk på minst 1 TB, helst med snabb SSD-teknologi vore bra. Minne på åtminstone 32 GB.
Slutsatser
Det finns säkert många fler frågor. Tveka inte att ställa dem. Ni får gärna en svar.
Även om du behöver en första bedömning av hur genomförbar eller resurskrävande ditt projekt är, får du gärna en realistisk återkoppling.
My name is Klaus Meffert. I have a doctorate in computer science and have been working professionally and practically with information technology for over 30 years. I also work as an expert in IT & data protection. I achieve my results by looking at technology and law. This seems absolutely essential to me when it comes to digital data protection. My company, IT Logic GmbH, also offers consulting and development of optimized and secure AI solutions.
