Förståelse för AI-hallucinationer: Orsaker till och exempel på artificiell fiktion

AI-hallucinationer är falska påståenden från en AI som baseras på korrekt information. Resultatet blir ett trovärdigt uttalande som skulle kunna vara korrekt men inte är det. En förklaring till hallucinationer är möjlig om man till exempel tittar på hur AI:s språkmodeller kodar information och dess betydelse.

Inledning

Alla har nog hört talas om hallucinationer i samband med artificiell intelligens.

Hallucinationer är så spännande just för att det handlar om falska uppgifter som har potentialen att plausibel låta. Vad som låter plausibelt, tolkas ofta som sann eller rätt. Precis där ligger faran med hallucinationer.

Hallucinationer är falska uppgifter som baseras på korrekt bakgrundskunskap. Falska uppgifter som uppstår av felaktigt kunnande eller förståelse på grund av en slarvigt formulerad fråga, är inte hallucinationer.

Bakgrunden till hallusinationer är semantiska vektorer. Vad det är, tittar vi närmare på.

Hur hallucinationer utvecklas

En semantisk vektor är bäraren av en betydelse. Vad är en mening? En mening är ett subjektivt definierat uttalande. Man kan också säga att var och en definierar sin egen sanning.

Jag skapar världen för mig själv,

bred som jag vill ha det.

Pippi Långstrump

Sanning är (alltid?) något subjektivt. Även fysikaliska teorier som relativitetsteorin och kvantmekaniken, som förmodligen är bland våra bästa teorier, tolkas rent subjektivt.

Människan finner betydelsen av föremål och omständigheter genom kulturell prägling, utbildning och egen uppfattning. Datorn ("den artificiella intelligensen") söker efter Betydelse på grund av träningsdata, vilket i sig är ingenting annat.

Betydelsen hittas genom optimering av en matematisk funktion. Så kommer människan också att göra det, men med den skillnaden att optimeringen hos människan även kan innehålla kontraproduktiva element som är avsiktligt objektivt (!?) konstruerade.

Följande bild visar en förenklad representation av hur innebörden av meningen "Hunden springer i parken" kodas i en AI-modell.

Den nyss nämnda meningen har många olika betydelser. Den säger t.ex. något om en levande varelse ("hund"), tematiserar en aktivitet ("löpning"), innehåller en tonalitet (här: neutral känsla) och beskriver en plats ("park"). Förresten: Begreppet "park" kan ha flera betydelser. Här syftar det på ett grönområde i en stad. En annan betydelse som inte avses här, men som skulle kunna vara möjlig, är imperativ av "parken".

Bilden visar för enkelhetens skull bara två dimensioner (2D). I verkligheten arbetar AI-modeller med flera hundra dimensioner, till exempel 512. Denna höga antal dimensioner tjänar till att upptäcka och representera olika betydelsefacetten av en uttalande.

Påståendet "Hunden springer i parken" är sant. Hur kan detta resultera i ett falskt påstående?

Många AI-system genererar resultat genom att representera betydelsen av indata som en vektor (eller vektorer) och gör samma sak för lagrad bakgrundskunskap. Nu kan man räkna med vektorer – det vet alla som är duktiga på matte eller minns bättre tider.

I följande figur visas schematiskt hur två semantiska vektorer läggs till.

Du kan se två påståenden som båda är sanna:

• Albert Einstein fick Nobelpriset i fysik -> Sant påstående
• Albert Einstein utvecklade relativitetsteorin -> Sant påstående

Om man nu adderar vektorerna för dessa två påståenden skapas den vektor som visas i rött i bilden, vilket representerar ett falskt påstående. Additionen av de två pilarna, den gröna och den blå, illustreras i miniatyrform uppe till höger i figuren. De streckade linjerna visar också hur den röda pilen skapas av den gröna och den blå pilen.

I AI-modellen uppstår genom Sökning efter likheter med det röda resultatvektorn sedan uttalandet som bäst motsvarar resultatvektorn. Därav följer den falska uttalandet: "Einstein fick Nobelpriset för relativitetsteorin".

Det är svårt att tro att ett av de mest enastående genierna i mänsklighetens historia INTE fick Nobelpriset för en av de mest enastående teorierna i mänsklighetens historia. Detta kan ses som en oförskämdhet eller som ett tecken på mänsklighetens globala dumhet. Följande prestationer bygger trots allt på Einsteins relativitetsteori:

• GPS och navigationsystem: Om man inte tar hänsyn till relativistiska effekter skulle GPS-satelliter redan efter några timmar vara felaktiga med flera kilometer. Klockorna på satelliterna går snabbare på grund av den lägre gravitationen jämfört med jorden.
• Partikelacceleratorer som Large Hadron Collider på CERN fungerar bara för att relativistiska effekter vid acceleration av partiklar till nästan ljusets hastighet beaktas. Dessa anläggningar har lett till upptäckten av Higgs-bosonen och många andra elementärpartiklar.
• Medicinsk bildgivning använder relativitetsteorin i Positron-Emissions-Tomografi (PET). Där används antimateriepartiklar vars beteende Einstein förutsett hade.
• Astronomi och kosmologi blev revolutionerade. Teorin gjorde det möjligt att förutsäga och senare observera svarta hål, gravitationsvågor och hjälpte till vid förståelsen av universums utvidgning.
• Kvantberäkning fördelar av relativistiska begrepp, särskilt vid utvecklingen av högupplösta atomur och kvantensensorer.
• Synchronisering av datornätverk och finansiella handelssystem beräknar idag relativistiska tidsfaktorer för exakta tidmätningar över stora avstånd.

I bästa fall var de dåvarande Nobeljuryn intellektuellt överbelastade och vågade inte ge sin välsignelse till en teori som i deras ögon möjligen var felaktig.

Tillbaka till hallucinationer:

Det ovan nämnda falska påståendet har alltså uppstått genom att två korrekta påståenden har kombinerats. Detta är ytterligare ett skäl till att det låter så trovärdigt och kan distrahera från verkligheten (som vi har definierat den).

Dessutom är svaren från AI-språkmodellerna ofta så tilltalande och strukturerade att de framstår som professionella. Detta förstärker intrycket av att det falska påståendet (hallucinationen) är korrekt.

Vektorer kan för övrigt också omvandlas till text (eller andra datatyper som kallas modaliteter) igen. För detta används så kallade Inbäddningar. Det är matematiskt beräknade vektorrepresentationer av uttalanden.

Orsaker till hallucinationer

Det finns många möjliga orsaker till hallucinationer. Här är ett utdrag av några möjligheter till falska påståenden.

Statistisk interpolering i stället för faktakunskap

Språkmodeller lagrar inte information som diskreta fakta, utan som statistiska viktningar mellan olika begrepp. När systemet svarar på en fråga kombinerar det dessa viktningar för att generera det mest sannolika svaret. På så sätt kan modellen skapa kopplingar mellan begrepp som inte uttryckligen fanns med i träningsdatan.

Det bör noteras att människans existens helt och hållet bygger på statistik. Vissa människor blir upprörda över detta uttalande. De borde ta en titt på kvantfysiken (på en allmän nivå).

Dessa: Statistik är grunden för intelligens, inte orsaken till att ingen intelligens skulle förekomma.

Ofullständiga eller motsägelsefulla utbildningsdata

Kvaliteten på träningsdata har en betydande inverkan på tendensen till hallucinationer. Om en modell tränas på data som innehåller felaktigheter, motsägelser eller kunskapsluckor kan dessa problem uppstå oftare i den efterföljande tillämpningen. Dessutom kan olika källor ge motsägelsefull information om samma ämne.

Det är inte annorlunda med människor.

Förtroende utan förståelse

AI-system har ingen medvetenhet om sina egna kunskapsbegränsningar. De kan inte skilja mellan säker kunskap och antaganden och uttrycker inte explicit osäkerheter. Istället genererar de svar med en skenbar säkerhet som inte motsvarar informationens faktiska tillförlitlighet.

Robotar kommer snart att överbrygga dessa kunskapsgränser. Precis som människor kommer de att utforska omgivningen och samla på sig egna erfarenheter av miljön.

Särskilda riskområden

Vissa ämnesområden är särskilt benägna att ge upphov till hallucinationer. Dessa inkluderar aktuella händelser som inträffade efter utbildningsdatumet, mycket specialiserade ämnesområden med begränsad offentligt tillgänglig information och områden där precision är avgörande, till exempel medicinska eller juridiska ämnen.

När det gäller juridik är det knappast någon "normal" människa som förstår vad som står i juridiska fackartiklar, domar eller i vissa lagar och förordningar. Detta är för övrigt avsiktligt: jurister vill hålla sig för sig själva på vissa områden och använder därför ett "maktspråk". Denna information kommer inte från författaren till denna artikel, utan från en advokat.

Sammandrag

Hallucinationer uppkommer genom en kombination av sann kunskap. De kringgår sanningen. Hallucinationer kan förstås genom att betrakta semantiska vektorer som bärare av mening.

Men sådana hallucinationer kan också äga rum på ett analogt sätt i neurala nätverk, som är grunden för många av dagens AI-modeller. Ett neuralt nätverk kan trots allt representera en vektor eftersom det är så plastiskt att det kan bära och representera vilken typ av information som helst.

När det gäller AI-lagen är det bättre att försöka minimera risken för hallucinationer. Det är till och med bättre att undvika hallucinationer.

Mer om hallusinationer kan läsas i den snart utkommande Sammelband "Risikoanalyse-AI", som ges ut av professor Wanderwitz, där detta inlägg delvis och i betydligt förkortad form bygger på en artikel som är tänkt att publiceras i samlingen.

Hallucinationer kan undvika, om man tar sig an. Med ChatGPT lyckas du inte, men med en optimerad AI för företag och andra organisationer. I ett kundprojekt kunde vi bygga upp en tillförlitlig chattbot för ett komplext kunskapsområde. Chattboten svarade rätt i många fall. Den visste också när den skulle svara rätt. I de få tvivelaktiga fallen fick människan framför skärmen informationen att svaret borde kontrolleras. I alla fall angavs källorna till svaret. Vid de som var känt rätt svarade chattboten med ett kvalitetsmärke ("vi står för detta svar just nu").