Problem löser i krisläge: Hur offline- AI din utmaning knäcker

Fördelarna med en optimerad AI för företag och administration kan till och med visas på ett datorlåda offline. Den här Offline-AI klarar av många användningsfall bättre än någon universell intelligens som ChatGPT. Den erbjuder fullständig kontroll över data och körs också i drift mycket kostnadseffektivt.

Inledning

Denna artikel är ett praktiskt exempel på möjligheterna med Offline-AI. Men först en kort introduktion till Offline-AI. Den har funnits sedan ett år tillbaka, men bara nyligen blivit så effektiv att den även kan användas för tyska.

Offline-AI är en lokal AI som körs på ett eget dator eller server. Offline betyder att systemet fungerar fullt ut utan internetuppkoppling. Detta innebär att inga data skickas till tredje part. Följande fördelar erbjuder en offline-AIsärskilt:

• Företag och myndigheter får en Problemlösare för sina användningsfall.
• Varje gång kan nya AI-språkmodeller, Stable Diffusion-bildmodeller, audiomodeller, videomodeller installeras och användas.
• Själv den dådrift är kostnadseffektivt möjlig. Hejdå Microsoft Azure. Hejdå säkerhetsluckor.
• En självförbättrande AI, som kan kritisera sig själv, är praktiskt möjlig.
• Rechtligt enkelt: Uppdragsbearbetningsavtal behövs inte längre; det osäkra Opt-Out is i stället för en samtyckesfråga, som ChatGPT erbjuder, har ingen rättslig betydelse mer. Ingen måste längre skrämmas när ännu en tillsynsmyndighet förbjuder ChatGPT.

För fullständighetens skull ska nämnas att ChatGPT:s programtillgångssnitt (API) ibland faktiskt har mening. Denna situation uppstår dock allt sällan tack vare de öppna källkodsmodellerna som blir mer effektiva varje vecka. Förhandsinformation: Med en API kan så mycket göras. Till exempel: Från Förhandsbestämd prompt formar ett LLM en Beskrivning av programmet av en bildkomposition, som sedan omvandlas till ett Bild av ett Modell för bildgenerering. Här är ett exempelsvar:

För tyska som språk finns det ofta bättre språkmallar än ChatGPT. Antingen är de kvalitativt bättre eller billigare. Intresserade bör titta på Claude, Command R+ och Mistral. Offline-AI gör dock mer nöje och är bättre för konkreta problem.

När är offline-Intelligens och när är det en vanlig chattrobot?

Om man vill veta hur hög den tredje högsta berget i världen är, kan man lugnt använda ChatGPT. Även att ibland sammanfatta allmänt tillgängliga texter för semiprofessionella ändamål är ett bra tillämpningsfall för allmänna chatbots. Dessa chatbots finns också tillgängliga för en obesvärande pratstund.

Att använda en chattbot som sökmotor är ett sätt som många tycks uppskatta. Om du vill ha en extra kraftfull sökmotor, är offline-AIett bättre val. OpenAI kommer säkerligen inte att läsa och värdera en webbplats med 5000 undermenyerna för dig.

En hög tillförlitlighet av resultat är inte bara önskvärd, utan alltid viktig i ett professionellt sammanhang. Den som behöver denna tillförlitlighet måste ha en offline-AImed mekanismer för kvalitetssäkring.

Sinnliga data, affärshemligheter eller personuppgifter bör ingen lägga in i ett tredjepartsystem från amerikanska leverantörer. För det första tillåter amerikanska lagar som Cloud Act, FISA 702 eller Executive Order 12333 amerikanska myndigheter och underrättelsetjänster att komma åt dessa data. För det andra uppstår nästan regelbundet säkerhetsluckor i populära chattbotar och system från Microsoft (majoritetsandelar i ChatGPT!). För det tredje måste rättsliga bedömningar och regleringar göras, vilket bara sker på papper och dessutom innebär mycket arbete.

Med intelligenta AI-lösningar kan företag och förvaltningar övervinna utmaningar.

Snabbare, bättre och lättare än någonsin.

En offline-AIkan permanent köra. Varför frågar sig några. Varför studerar människor 5 år långt? För att bli bättre. Precis det kan en offline-ki. Men denna Självförbättring tar inte årtionden, utan ofta sekunder eller några timmar.

Vad är möjligt med Offline-AI?

Offline-Intelligens kan mycket. Även mer än ChatGPT. Det beror ju på tillämpningsfallet. Era data, era tillämpningsfall. Även om ni inte har några egna data är Offline-Intelligens oftast bättre.

I föregående avsnitt gavs ett exempel på detta: att hämta information från internet. Även sökning efter information på internet med därefter utvärdering är en mycket bra tillämpningsfall för en Offline-AI. Till exempel kan dagligen de senaste nyheterna hämtas och automatiskt utvärderas med den företagsägda AI:en.

Hur är det med en marknadsanalys eller konkurrensbevakning? Det går inte alls bra med allmänna chattbotar, eftersom man måste först få fram data. Denna datainsamling kan automatiseras lätt. Den som tar den här lilla steget är ute ur innovationsfientlig bekvämlighet. Som belöning finns det maximal självständighet, full kontroll och framför allt bättre resultat!

Exempel på användning av AI i förvaltningen:

Medborgare (eller kunder) vill begära något. Sökandet efter rätt formulär eller informationsblad kan med hjälp av AI optimalt stödjas. AI används här för semantisk sökning. Anställda inom förvaltningen blir så befriade från arbetsuppgifter och kan arbeta mer produktivt.

Om ett informationsblad är för komplicerat kan AI i enklare språk sammanfatta det.

Om ett formulär eller en ansökan bara finns på tyska eller engelska och medborgaren bara förstår ukrainska, kan dokumentet med AI översättas.

Liknande ansökningar och formulär till en hittad ansökan eller formulär kan med AI hittas. Även lagar, interna föreskrifter och domar till ett ärende kan så hittas. Handläggare kommer att stöttas på bästa sätt.

Analog möjligt för hantering av skadeanmälningar, kundförfråganden eller support-tiketter.

I föregående inlägg nämndes ytterligare bra scenarion för offline-KI.

Bevis för offline-Intelligens

På den digitala konferensen MADKON24 i Mainz kunde deltagarna i min workshop se live hur Offline-AI-produkter skapas. Detta gjordes på mitt laptop lokalt och utan internetuppkoppling.

Bildet visar intryck från MADKON24. En rapport om föredrag och workshops, inklusive mitt eget, har Peter Winninger publicerat på sin blogg KOBLENZ DIGITAL.

På den här laptopen visades särskilt:

• image generator: Textingivning (Prompt) ger ut bildutgång
• image generator 2: Inmatningsbilden fungerar som mall för bildstrukturen. Från denna mall och ett prompt skapas ett nytt bild.
• Promptoptimering: Prompts för bildskapande har automatiskt optimerats med Offline-AI. Därefter gavs den optimerade prompsen till bildgeneratören. Det nya bilden var mer lockande.
• Förslagsvarianter: Till förslaget bildades automatiskt med Offline-AI-varianter:
  • Allmänna varianter som liknar originalet
  • Varianter som är mycket lika det ursprungliga
• Automatiskt optimerad prompt och automatiskt genererade varianter togs
  • Översatt, och det är efter
    • Engelska
    • Spanska
    • Ukrajiniska
• Uttryckt, och det är just
  • I Rechtsfackspråk,
  • På piratspråket
  • I den språk som en femåring förstår
• För nöjes skull skapades ännu en saga från det optimerade promptet, och det var i två versioner

Hela processen kändes som att gå igenom ett dussin gånger under workshoppen, varje gång med en annan inmatning och varje gång med många nya och bra resultat.

Till den tidigare nämnda promptoptimeringen: Denna Självförbättring av AI är möjlig genom att AI får tillbaka sina egna utgångar som indata. Det fungerar också mycket bra, när man skapar artificiell träning av data med hjälp av AI, och sedan tränar samma AI på dessa data. Det är såsom om en människa kunde skriva sin egen utbildningsmaterial och därigenom bli bättre.

Här ett exempel på utdata från den nämnda bildgeneratorn:

En förstoring av detta redan inte så lilla bild är möjlig med AI-uppskattning. Därmed kan en fyrfaldig storlek skapas utan synbar kvalitetsförlust.

image generator 2 fick nu detta bild som inmatning och skulle därav skapa en galen vetenskapsman; med bibehållande av bildstrukturen. Här är resultatet från Mainz:

Utöver det Varianter med en grävling, tigrar, ofta omdisponerade politiker från USA, Commander Data, en framstående dam och många fler förslag beräknades. Allt detta på laptopen i kort tid. I ett litet avsnitt av den två timmar långa workshoppen genererades ca 100 bilder. Som ett annat exempel visades en bildgenerator som tränats på en viss stil. Så kan till exempel för varje textprompt bilder genereras i stilen från IKEA-anvisningar.

Om man skulle räkna Antal av textutgångar som genererats med Offline-AI i workshoppen, skulle man komma på några tusen texter. Detta var optimerade text-prompt, översättningar, språkförstärkning och mera. Till exempel extraherades nyhetsrubriker från artiklar. Likaså klassificerades träffar från sökmotorer med Offline-AI. Så kunde kunskapsartiklar skiljas från reklamannonser. Även hämtningen av träffar från en populär sökmotor (icke Google) kan automatiseras.

De nästan otanbara möjligheterna med en offline-AL (Artificiell Intelligens):

En inmatning, sedan en AI-loop. Den AI genererar ytterligare inmatningar själv och producerar så alltid fler och bättre resultat. Om det blir för många resultat kan dessa med samma AI kritiserats och filtreras.

Nu möjligt, till och med på en laptop. Inget önskemål, utan verklighet.

Anwesend var också Michael Westphal från TV1. Han har upptagit min workshop (utan mitt medgivande) som ljud. Därefter levererade han mig det Transkriptet, med Offline-KI. Även om han bara använde ett (bra) mobiltelefonmikrofon, var många människor i rummet, rummet stort och flera människor pratade, var resultatet mycket bra. Ett efter workshop upptaget intervju av honom och mig kommer snart att publiceras. Även i videon används KI för transkription och undertexter.

Det Audiotranskriptet (för språket i en längd av två timmar) jagade jag med Offline-AI för att sammanfatta det. Därefter blev sammanfattningen språkligt förenklad och huvudpunkterna utdragits.

Min huvudsakliga budskap från min workshop om artificiell intelligens på Digitalkongressen i Mainz är:

• AI fungerar på samma sätt som det mänskliga hjärnan: Människans intelligensförmåga är avkodad.
• Nvidia är den enda praktiskt tillgängliga leverantören av kognitiva grafikskärmar.
• Öppen källa AI-modeller är bra.
• Programmering som tidigare inte kunde eller bara efter månader eller år kunde programmeras kan idag utvecklas på kortast möjliga tid tack vare AI.
• AI tillåter det likformiga lösandet av olika problem. Det förkortar komplexitet och arbetsinsats betydligt.
• AI kan användas likformigt på olika datatyper. Datatyper är till exempel texter, bilder, ljudsignaler, sensorvärden, videor med mera.
• AI-användningar kräver data för att ge meningsfulla resultat.
• Dessa uppgifter kan komma från:
  • Historiska data, till exempel upphandlingsdata från avslutade anbudsinfordringar
  • Data från internet (via automatisk sökning)
  • Konstgjorda data (offline-AL använda)
  • Människor skapade data.
• Bekväma svar kan bara en kI ge, som man leder. Detta ledande kan ske automatiskt.
• Allmänt AI-system som ChatGPT är kvalitativt sämre (och i medellång tid mestadels mycket dyrare) än specialiserade system.
• Endast kombinationen av AI och klassisk programmering ger bästa resultat.
• Innovations skapas genom att lämna bekvämligheten och lösa beroenden.

Den bästa lösningen är idag bara ett litet steg bort.

Avspärrad AI illustrerar med bilder

Bildet ovanpå blev skapat med en Offline-AI. Det är i den följande samlingen av tre bilder till vänster att se:

Det första (vänstra) bilden skapades av en offline-AIpå grund av en manuell anvisning. Det andra bilden skapades av en offline-AIsom hade uppgiften att justera ljuset och lägga till mer detaljer i bilden. Det tredje (högra) bilden skapades av en Offline-AI-bildgenerator. Anvisningen var här:

• Inmatningsbild (tidigare genererad av AI, men varje annat bild är också möjlig)
• Uppläggning: Lägg till ett par mycket små robotar som dansar runt glödlampan.

Det är också möjligt att fråga AI:en själv vilka andra prompts som skulle vara bra. Man måste naturligtvis ge någon form av förutsättning. Till exempel: Jag vill att bilden innehåller mer detaljer/ser mer intressant ut/minns kakan..

Beroende på Offline-bildgenerator som man använder kan man till och med chatta med hjälp av den. Först låter man generera ett bild. Sedan säger man: Ersetze den Mann durch eine Frau. Även denna process kunde man automatisera genom en AI-kritiker. I slutet uppstår x bilder. Dessa kan man antingen sitta igenom själv eller låta en AI filtrera dem innan. AI:en kan lära sig vilka bilder du tycker om. För att göra detta markeras du bara för varje bild om den är bra eller inte så bra. AI:en lär sedan utifrån färre exempel vad du vill ha.

Den prompt som ledde till inläggets bild optimerades av en AI på följande sätt:

• Original: problem solver system, intelligent, connections, bright colors
• AI-Version: Vibrant problem-solving AI, illuminating connections with radiant hues.

Efter det skapades ett bild med hjälp av AI-versionen av prompten:

Nu blev den lokala offline-AL injicerad med en futuristisk dinosaurie:

Som man ser, har tre varianter genererats. Vi hade också kunnat generera 1.000 eller 100.000 varianter. Det kostar ju ingenting. Med hjälp av en offline bild-kritik-AIkan sedan de bästa 10 bilderna filtreras ut. Människan kan sedan titta på dem och snabbt hitta det bästa bilderna.

Sammandrag

Fördelarna med AI erbjuder sig främst för företag och myndigheter med en Offline-AI.

Kvalitet är för många problemställningar enkelt mycket bättre. Detta uppnås genom konventionell tilläggsprogrammering, som endast orsakar mycket liten arbetsinsats. Plastiskt minibeispiel: Hur många bokstäver ett ord har, kan så bäst uppskattas, medan ChatGPT misslyckas.

Fullständig datakontroll är ett annat viktigt inslag. Låt juristen av din val istället göra andra saker än att prata om det som inte är fint: ChatGPT är osäker, Microsoft är osäker (bevis i detta blogg samt följande).

Snabbt och viktigast är strategisk betydelse av Offline-AI. Den kan förbättra sig själv och kritisera sig själv. Allt detta är praktiskt taget bara möjligt, eftersom det inte finns några användningsberoende avgifter som inträffar. Även organisationer med stort budget vill gärna veta vad "det" kommer att kosta innan. Det vet dock ingen före, när ett hjärna (AI) frågas. Klar är det att den mycket vanliga anropet av en kostnadsbelagd AI-gräns, bäst med omfattande dokument, snabbt blir dyrt.

Innovationskraft uppstår genom att ta bort hinder. Precis det är möjligt med Offline-AI. Eftersom utvecklingen går snabbt, är det en enorm fördel att nya LLMs kan bytas ut direkt. Open-Source språkmodeller till exempel är så bra att kommersiella leverantörer måste göra sitt bästa för att inte frysa.

Vilka tillämpningsfall har ni inom företaget eller er myndighet eller förvaltning? Ni är välkomna att ge en första bedömning av genomförbarheten.