DeepSeek-R1: En liten språkmodell förångar aktiemarknaden

Med AI-modellen DeepSeek-R1 har Kina lyckats skämma ner amerikanerna i marken. DeepSeek-R1 är betydligt mer effektiv än OpenAI:s ChatGPT. Även supersmå avknoppningar av R1 är nästan lika bra som OpenAI o1 i viktiga benchmarks. Aktiemarknaden reagerade med chockvågor. Folk insåg inte ens att det redan fanns en annan DeepSeek-modell.

Inledning

Alla känner till ChatGPT. Alla har känt till DeepSeek sedan "igår" senast. Inte minst aktieinvesterare har sannolikt insett att något har hänt på AI-marknaden.

OpenAI håller sin toppmodell ChatGPT (inklusive o1, o3 etc.) hemlig i de nyare versionerna och döljer detaljer om den från allmänheten. DeepSeek, ett företag från Kina, ger å andra sidan bort sin toppmodell genom att göra den offentlig. Synd för OpenAI, som ville tjäna pengar med ChatGPT, men som förmodligen aldrig kommer att komma in i vinstzonen.

Kostnaderna för att skapa DeepSeek-R1 var betydligt lägre än de för ChatGPT i varje senare version. Dessutom kan R1 drivas fullt ut av en medelstor företag. De mindre varianterna går till och med på laptops. Att själv köra innebär att man laddar ner R1-modellen, kopierar det till sin AI-server (eller laptop), sedan inaktiverar man internetanslutningen om så behövs och kan då arbeta helt självständigt med sin AI.

Hur bra är DeepSeek-R1?

Kvaliteten på ett AI-modell prövas genom Riktmärken. Det är standardiserade testfrågor till modellen. Hur bra ett AI-modell är för en specifik användning i ert företag kan bara upptäckas genom (enkelt, snabbt) utprovande för den specifika användningen. Ni måste veta vad ni vill använda AI till.

Riktmärkena ger en mycket bra indikation på hur bra en modell är i sig. Här är de benchmarkresultat som publicerats av DeepSeek själv:

Den vänstra stapeln är den för DeepSeek-R1, den andra stapeln den för OpenAI:s referensmodell o1. Som man kan se är R1 lika bra som o1. De riktmärken som nämns är standard. De är i detalj:

• AIME 2024: Mathematikprobleme
• Codeforces: Programmeringsuppgifter
• GPQA-diamanten: GPQA står för En examensnivå, Googelbevisad Q&A-benchmark. Flerväljningsfrågor
• MATH-500: Matematiska slutsatser
• MMLU (Measuring Massive Multitask Language Understanding): Flertalvalsfrågor från många kunskapsområden

För att besvara frågan i början: DeepSeek-R1 är alltså uppenbarligen mycket bra. Modellen visar några avsiktliga kunskapsförändringar. Den svarar på kritiska politiska frågor så som Kina tycker om det. Modellen ska dock inte betraktas som en chattbot. I och med detta är detaljen nog så bekymmersam, men från teknisk synvinkel är det ofta likgiltigt.

Kvaliteten på DeepSeek har bekräftats av några användare. Här är ett från engelska till svenska översatt testberättelse, som ställer R1 och OpenAI o1 mot varandra (följande som citat):

• För logiskt slutledande är R1 mycket bättre än alla tidigare SOTA-modeller fram till o1. Det är bättre än o1-preview, men en nivå under o1. Detta visas också i ARC AGI-testet.
• Matematik: För matematik gäller samma sak: R1 är en dödskalle, men o1 är bättre.
• Kodning: Jag har inte hunnit spela så mycket, men på första ögonblicket är det jämnt med o1, och faktumet att det kostar 20x mindre gör det till ett praktiskt vinnare.
• Skriver: Här tar R1 över ledningen. Den förmedlar samma intryck som det tidiga verket. Det är fritt, mindre censurerat, har mycket mer personlighet, är lätt att styra och är mycket kreativt jämfört med de andra modellerna, till och med jämfört med o1-pro.

Framtidens kurs

Den som följer utvecklingen inom AI-sektorn kommer att märka flera saker:

• AI-modellerna blir bättre och bättre.
• Bättre AI-modeller blir mindre och mindre (de är knappast "stora" längre, vilket framgår av "Stora språkmodeller").
• Träningsmetoderna för att skapa AI-modeller blir alltmer sofistikerade.
• Mindre befintliga AI-modeller kan enkelt göras mycket bättre genom att konsultera nya modeller.
• Lichtgeschwindigkeit är en underdrift för att beteckna hastigheten hos utvecklingen.

Allt detta utgör för OpenAI existentiella hot.

En ännu viktigare insikt är följande: Med hjälp av det så kallade Reinforcement Learning (stärkande lärande) kan helt andra små, redan existerande AI-modeller förbättras på ett betydligt bättre sätt. Man tar då de svar som Mastermodellen R1 ger på ställda frågor och matar in dem i de mindre Schülermodellerna. Den intelligensen hos Schülermodellerna får sedan en enorm skjuts och kan själv bättre tänka och dra slutsatser. DeepSeek har beskrivit en raffinerad metod (emergent självreflektion) för att detta ska fungera särskilt bra.

Så kunde öppna källor som Qwen-2.5 och Llama-3.1, som redan var mycket bra, bli ännu bättre med minimi ansträngning. OpenAI måste däremot investera mycket tid, energi och pengar för att uppnå bättre resultat. Medan OpenAI är ett hemligt sällskap sker de framsteg som beskrivits ovan i det offentliga rummet och fri tillgänglig för alla.

Laut Testbericht är DeepSeek-R1 cirka 30 gånger billigare att använda än OpenAI o1 och cirka 5 gånger snabbare än o1. Ännu billigare blir det om du vill använda R1 intensivt och köra den på en egen server. Bland annat finns det klon av R1 som kan köra på ett laptop (eller i nödfall även på ett mobiltelefon).

Avläggare till DeepSeek-R1

Som framgår av figuren ovan med riktmärket finns det andra modeller från DeepSeek:

• DeepSeek-R1-32B
• DeepSeek-V3

DeepSeek-V3 släpptes i slutet av december 2024, så den är redan föråldrad (se "Ljusets hastighet"). Den fungerade som grund för R1.

DeepSeek-R1-32B är en destillerad version av DeepSeek-R1, som har 685 miljarder parametrar (685B). Den destillerade versionen har bara 32 miljarder parametrar och kan därför köras på ett tillgängligt AI-server. Destillering betyder att det är en Extrakt från det större modellen. Noterbart: olika källor för DeepSeek anger en gång 685B och en gång 671B parametrar.

Utöver detta ena extraktet, DeepSeek-R1-32B, finns det ytterligare varianter som alla kan köra på billigare hårdvara. Detta för den som fortfarande vill använda ChatGPT till att automatisera processer.

Varianterna av DeepSeek-R1 är (från och med 28/01/2025):

• DeepSeek-R1-32B: Sekundär modell från riktmärket. Detta hänvisar till DeepSeek-R1-Distill-Qwen-32B
• DeepSeek-R1-Distill-Llama-8B
• DeepSeek-R1-Distill-Llama-70B
• DeepSeek-R1-Distill-Qwen-14B
• DeepSeek-R1-Distill-Qwen-7B
• DeepSeek-R1-Distill-Qwen-1.5B

Det finns också DeepSeek-R1-Zero, som har samma modellstorlek som huvudmodellen. Zero har genomgått färre träningsprocesser än huvudmodellen, så den är något sämre (men fortfarande bättre än något som OpenAI har lyckats åstadkomma med en rimlig budget).

Även om huvudmodellen, DeepSeek-R1, har 685 miljarder parametrar är endast 40 miljarder av dem aktiva samtidigt. Det är en så kallad Mixture-of-Experts-arkitektur (MoE). Det är som hos människor: Av alla dina neuroner i hjärnan är inte alla aktiva när du tänker. Snarare är det så att bara en liten del av dina nervceller är aktiva när du till exempel talar. Resten av neuronerna i hjärnan vilar och behöver inte vara aktiva.

Detta mindre antal samtidigt aktiva neuroner innebär att R1 kan köras på billigare hårdvara. OpenAI borde skämmas för sig själv här. OpenAI:s modeller kräver nämligen serverinfrastrukturer som är bortom all fantasi. R1 kan å andra sidan drivas av alla små och medelstora företag med rimliga ekonomiska resurser.

Destillaten från R1 skapas genom s.k. kunskapsdestillation. För detta ändamål tas huvudmodellen som en lärare och ifrågasätts av en elev. Detta är analogt med hur ett barn lär sig av sina föräldrar, förutom att barnet upp till en viss ålder (ofta) är betydligt mindre intelligent än föräldrarna.

Varje destillat skapades på grundval av en befintlig LLM. En gång användes Llama-3.1-8B från eller Llama-3.3-70B-Instruct från Meta. Andra destillat är baserade på olika modellvarianter av Qwen-2.5 från Alibaba.

Möjligheter och risker

Det verkar som om bättre och bättre AI-modeller publiceras i allt snabbare takt. OpenAI håller på att bli en utfasad modell. ChatGPT, OpenAI o1 och alla de andra modellerna blir bättre och bättre, men också dyrare och dyrare.

OpenAI håller sina modeller, algoritmer och data hemliga. DeepSeek gör precis tvärtom. Träningspipelinen är offentlig. Modellerna är offentliga och kan laddas ner. Vi kör en DeepSeek-modell på en AI-notebook. På en bärbar dator!

DeepSeek-modellerna är extremt bra. De har krascherat värdepapper. Dessutom inom energisektorn ("Siemens Energy: 20-procent-krasch – AI-fantasi borta?", rapport från den 27 januari 2025), eftersom sådana mindre modeller som DeepSeek kan köra på "billigare" hårdvara, medan OpenAI måste slösa med energi. Investeraren Marc Andreesen har kommenterat: "DeepSeek är en av de mest imponerande och fantastiska genombrotten jag någonsin sett – och som öppen källkod, ett djupt gott val för världen" (Source: ett nätverk som man borde undvika med bokstav före Y).

Vad kan DeepSeek användas till?

Ingen borde komma på tanken att använda DeepSeek i sin ursprungliga form som en chatbot. Den Kinavänliga kunskapen kan dock göras ofarlig.

Följande användningsfall är viktigare än en tråkig chatbot (utdrag):

• Hitta och ifrågasätta kunskap om företaget
• Analysera fakturor enligt lagen om leverantörskedjor och beräkna CO₂-avtryck
• Skapa automatiskt rekommendationer för att lösa supportärenden
• Automatisk klassificering av meddelanden, texter och andra dokument
• Dra logiska slutsatser automatiskt
• Lösa matematiska problem
• USA.

Det är precis det som nu kan ske helt utan OpenAI, och lika bra som med OpenAI.

OpenAI:s undergång

Att driva AI utan OpenAI har flera fördelar:

• Ofta bättre resultat
• Förutsägbara och alltid låga kostnader
• Fullständig datasäkerhet
• Fullständigt oberoende
• Kan optimeras efter behov
• Strategiskt värdefull

OpenAI har en mycket svår framtid framför sig. OpenAI kan inte lösa detta problem med bättre AI-modeller, eftersom bättre och bättre AI-modeller ständigt publiceras som öppen källkod av DeepSeek & Co.

OpenAI kommer snart att vara så föråldrat i fråga om kvalitet att det måste hitta ett annat affärsområde. Det fanns tecken på detta redan för flera månader sedan, men ingen ville se det. Vid AI-matematikolympiaden var till exempel vinnaren en AI-modell med öppen källkod.

Endast integrationen av internetsökning, automatisering av webbläsare eller OpenAI Operator är fortfarande halvvägs anmärkningsvärda livlinor. Men även sådana system kan programmeras av vilken bättre AI-programmerare som helst, eftersom de bygger på fritt tillgängliga standardtekniker. Det innebär att OpenAI på sin höjd kommer att förbli intressant för enskilda användare som är nöjda med att få en bra funktion för en dataavgift. Det är tveksamt om OpenAI kommer att kunna täcka sina enorma kostnader för hårdvara, energi och personal.

Världen i slummerland

Övrigt: Det finns redan ett nytt modell av DeepSeek: Janus-Pro. Janus-Pro är ett dubbeldödat modell, för att hålla med DeepSeeks valda benämning "Janus". Janus-Pro är en bildskapare och samtidigt en bildanalysator. Du kan alltså låta dig skapa bilder eller ladda in bilder i Janus och ställa frågor till bilderna.

Aktiemarknaden förångades av DeepSeek-R1 och inte av Janus-Pro.

Nyheten om R1 kom ut i världen med en stenåldersfördröjning (ca 7 dagar efter att modellen publicerats). Vid tiden för börskraschen fanns Janus-Pro redan, men ingen insåg det. Du är alltså mer informerad än de flesta.

Janus-Pro är enligt benchmarkerna bättre än DALL-E 3, men så liten att den kan platsa i ett fingerhjul (eller köra på ett notebook).

Genialiteten hos R1

Det handlar inte främst om att ett supereffektivt modell med R1 har publicerats, som utmanar OpenAI. Det handlar om att den blåprinten för detta har publicerats. Alla AI-forskare i världen vet nu hur bättre modeller än o1 kan skapas. Med det inte sagt: Dessa modeller är mindre, bättre och billigare än OpenAIs modeller och dessutom fria att använda och återanvända när som helst.

Om OpenAI någonsin skulle komma att tjäna pengar i framtiden, så kommer det nog bara med en Superintelligens. Då har vi andra utmaningar än valet av vilken kI ett företag ska använda för att automatisera sina processer. För då måste denna superintelligenza komma inom några år. Annars är OpenAI nog antingen i konkurs eller obsolet innan dess.

Som någon uttryckte det i en kommentar i ett AI-forum:

Redan i år (2025, slutet av januari) har det gjorts fler framsteg inom AI än under hela 2024.

Det är kanske en liten överdrift, men det är nog inte så långt ifrån verkligheten. För varje vecka som går blir detta uttalande mer korrekt eller till och med en underdrift.

Den som inte ännu inte tänkt på att automatisera processer i företaget med AI, är antingen aldrig redo för det eller använder datorer bara till att skriva fakturor (handlare o.s.v.). Framför allt för Software-utvecklingsavdelningar är AI extremt spännande!