DeepSeek-R1: En lille sprogmodel fordamper aktiemarkedet

Med AI-modellen DeepSeek-R1 er det lykkedes Kina at skamme amerikanerne ud. DeepSeek-R1 er betydeligt mere effektiv end OpenAI's ChatGPT. Selv super-små udløbere af R1 er næsten lige så gode som OpenAI o1 i vigtige benchmarks. Aktiemarkedet reagerede med chokbølger. Folk var ikke engang klar over, at der allerede fandtes en anden DeepSeek-model.

Indledning

Alle kender ChatGPT. Alle har kendt DeepSeek siden senest "i går". Især aktieinvestorer har sandsynligvis indset, at der er sket noget på AI-markedet.

OpenAI holder sin topmodel ChatGPT (inklusive o1, o3 osv.) hemmelig i de nyere versioner og skjuler detaljer om den for offentligheden. DeepSeek, en virksomhed fra Kina, giver derimod sin topmodel væk ved at offentliggøre den. Det er synd for OpenAI, som gerne ville tjene penge på ChatGPT, men som nok aldrig kommer til at tjene penge på det.

Kostnaderne for at oprette DeepSeek-R1 var meget lavere end de til ChatGPT i hver nyere version. Desuden kan R1 i fuld udvikling drives af enhver mellemstore virksomhed selv. De mindre varianter køres faktisk på laptops. Selv at drive betyder her: De laster ned R1-modellen, kopierer det til deres AI-server (eller laptop), deaktiverer såfremt nødvendigt internettet og kan således arbejde fuldstændig selvstændigt med deres AI.

Hvor god er DeepSeek-R1?

Kvaliteten af et AI-model bliver vurderet ved hjælp af Benchmarks. Det er standardiserede testspørgsmål til modellen. Hvor godt et AI-model fungerer i en bestemt anvendelse i dit firma, kan kun opdages gennem (let, hurtig) prøvebrug for den specifikke anvendelse. Du skal blot vide, hvad du vil bruge AI til.

Benchmarks giver en meget god indikation af, hvor god en model er i sig selv. Her er de benchmark-resultater, som DeepSeek selv har offentliggjort:

Den venstre bjælke er DeepSeek-R1, den anden bjælke er OpenAI's o1-referencemodel. Som man kan se, er R1 lige så god som o1. De nævnte benchmarks er standard. De er detaljerede:

• AIME 2024: Mathematikprobleme
• Codeforces: Programmeringsopgaver
• GPQA Diamant: GPQA står for En universitetsniveau Google-bevis Q&A benchmark. Flertydige spørgsmål
• MATH-500: Matematiske konklusioner
• MMLU (Measuring Massive Multitask Language Understanding): Flertallige-valgfrågespørgsmål fra mange fagområder

Til at svare på spørgsmålet i begyndelsen: DeepSeek-R1 er altså meget godt. Modellen viser nogle bevidste kendsgernsændringer. Det besvarer kritiske politiske spørgsmål, som Kina synes godt om. Modellen skal dog ikke betragtes som en chatbot. I forhold til dette er denne detalje sådan set bekymrende, men fra teknisk synspunkt ofte ligegyldig.

Kvaliteten af DeepSeek blev bekræftet af nogle brugere. Her er en oversat testrapport fra engelsk til dansk, der sammenligner R1 og OpenAI o1 (følgende som citat):

• For logisk slutdannelse er R1 meget bedre end alle tidligere SOTA-modeller til og med o1. Det er bedre end o1-preview, men en niveau under o1. Dette gør sig også gældende i ARC AGI-testen.
• Matematik: For matematik gælder det samme: R1 er en killer, men o1 er bedre.
• Kodning: Jeg har ikke haft tid til at spille meget, men på overfladen er det lige så godt som o1, og den faktum, at det koster 20x mindre, gør det til en praktisk vinder.
• Skrive: Her overtager R1 ledelsen. Det udsender samme indtryk som det tidlige værk. Det er frit, mindre censureret, har meget mere personlighed, er let at styre og er meget kreativ i forhold til de andre modeller, selv i forhold til o1-pro.

Fremtidens kurs

Enhver, der følger udviklingen i AI-sektoren, vil bemærke flere ting:

• AI-modeller bliver bedre og bedre.
• Bedre AI-modeller bliver mindre og mindre (de er næppe "store" længere, som det fremgår af "Store sprogmodeller").
• Træningsmetoderne til at skabe AI-modeller bliver stadig mere sofistikerede.
• Mindre eksisterende AI-modeller kan nemt gøres meget bedre ved at konsultere nye modeller.
• Lichtgeschwindigkeit er en underdrivelse af betegnelsen for hastigheden af udviklingen.

Alle disse sager står OpenAI i existentielige trusler mod.

En endnu vigtigere erkendelse er følgende: Med hjælp af det såkaldte Reinforcement Learning (styrkende læring) kan helt andre små, allerede eksisterende AI-modeller, blive meget bedre. Man tager deres svar på spørgsmål fra Mastermodellen R1 og foder dem ind i de mindre Modeller for studerende. Den Intelligenz af Schülermodellerne får så en enorm skub og kan selv træffe bedre beslutninger og slutte logiske konklusioner. DeepSeek har beskrevet en raffineret metode (emergente selvreflektion) for at gøre det særligt godt.

Så kunne åbne kilder til modeller som Qwen-2,5 og Llama-3,1, der allerede var meget gode, blive endnu bedre. Med minimal indsats. OpenAI må i stedet investere meget tid, energi og penge for at opnå bedre resultater. Mens OpenAI er en hemmelighedsfuld organisation, finder de nævnte fremskridt i den offentlige sektor og er tilgængelige for enhver.

Laut Testbericht er DeepSeek-R1 ca. 30 gange billigere at bruge end OpenAI o1 og ca. 5 gange hurtigere end o1. Det bliver endnu billigere, hvis du ønsker at bruge R1 intensivt og køre det på en egen server. Blandt andet findes der udgaver af R1, som kan køres på et laptop (eller i nød tilfælde også på et smartphone).

Udløber af DeepSeek-R1

Som man kan se i figuren ovenfor med benchmarket, er der andre modeller fra DeepSeek:

• DeepSeek-R1-32B
• DeepSeek-V3

DeepSeek-V3 blev udgivet i slutningen af december 2024, så den er allerede forældet (se "Lysets hastighed"). Den fungerede som grundlag for R1.

DeepSeek-R1-32B er en destilleret version af DeepSeek-R1, der har 685 milliarder parametre (685B). Den destilerede version har kun 32 milliarder parametre og kan derfor køres på en tilgængelig AI-server. Destillering betyder, at det er et Ekstrakt fra det større model. Bemærkning: forskellige kilder til DeepSeek angiver én gang 685B og én gang 671B parametre.

Blandt dette ene ekstrakt, DeepSeek-R1-32B, findes der flere varianter, som alle på billig hardware kan køres selvstændigt. Det er blot til oplysning for dem, der stadig vil bruge ChatGPT til at automatisere processer.

Varianterne af DeepSeek-R1 er (pr. 28/01/2025):

• DeepSeek-R1-32B: Sekundær model fra benchmarket. Dette refererer til DeepSeek-R1-Distill-Qwen-32B
• DeepSeek-R1-Distill-Llama-8B
• DeepSeek-R1-Distill-Llama-70B
• DeepSeek-R1-Distill-Qwen-14B
• DeepSeek-R1-Distill-Qwen-7B
• DeepSeek-R1-Distill-Qwen-1.5B

Der er også DeepSeek-R1-Zero, som har samme modelstørrelse som hovedmodellen. Zero har gennemgået færre træningsprocesser end hovedmodellen, så den er lidt dårligere (men stadig bedre end noget, OpenAI har formået at opnå med et rimeligt budget).

Selvom hovedmodellen, DeepSeek-R1, har 685 milliarder parametre, er det kun 40 milliarder af dem, der er aktive ad gangen. Det er en såkaldt Mixture-of-Experts-arkitektur (MoE). Det er ligesom hos mennesker: Af alle dine neuroner i hjernen er det ikke alle, der er aktive, når du tænker. Snarere er det kun en lille del af dine neuroner, der er aktive, når du f.eks. taler. Resten af neuronerne i din hjerne hviler og behøver ikke at være aktive.

Det mindre antal aktive neuroner på samme tid betyder, at R1 kan køre på billigere hardware. Her burde OpenAI skamme sig. Det skyldes, at OpenAI-modellerne kræver serverinfrastrukturer, der overgår fantasien. R1 kan på den anden side drives af enhver SMV med rimelige økonomiske ressourcer.

Destillaterne fra R1 skabes ved såkaldt vidensdestillation. Til dette formål tages hovedmodellen som lærer og udspørges af en elev. Dette svarer til, hvordan et barn lærer af sine forældre, bortset fra at barnet op til en vis alder (ofte) er betydeligt mindre intelligent end forældrene.

Hvert destillat blev skabt på basis af en eksisterende LLM. En gang blev Llama-3.1-8B fra eller Llama-3.3-70B-Instruct fra Meta brugt. Andre destillater er baseret på forskellige modelvarianter af Qwen-2.5 fra Alibaba.

Muligheder og risici

Det ser ud til, at der udgives bedre og bedre AI-modeller i et stadigt stigende tempo. OpenAI er ved at blive en udgået model. ChatGPT, OpenAI o1 og alle de andre modeller bliver bedre og bedre, men også dyrere og dyrere.

OpenAI holder sine modeller, algoritmer og data hemmelige. DeepSeek gør præcis det modsatte. Træningspipelinen er offentlig. Modellerne er offentlige og kan downloades. Vi kører en DeepSeek-model på en AI-notebook. På en notebook!

DeepSeek-modellerne er meget gode. De har ødelagt værdier på børsen. Desuden også i energisektoren („Siemens Energy: 20-procenters fald – AI-fantasi væk?“, artikel fra 27.01.2025), fordi sådanne mindre modeller som de fra DeepSeek kan køres på „billigere“ hardware, mens OpenAI må sluge energi. Investor Marc Andreesen har kommenteret: "DeepSeek er en af de mest imponerende og fantastiske gennembrud, jeg nogensinde har set – og som åben kilde, et dybtgående gave til verden" (Kilde: et netværk, der skal undgås med bogstav før Y).

Hvad kan DeepSeek bruges til?

Ingen bør få den idé at bruge DeepSeek i sin oprindelige form som en chatbot. Den Kina-venlige viden kan dog gøres ufarlig.

Følgende use cases er vigtigere end en kedelig chatbot (uddrag):

• Find og spørg ind til virksomhedens viden
• Analyser fakturaer i henhold til forsyningskædeloven og beregn CO₂-aftryk
• Opret automatisk anbefalinger til løsning af supporthenvendelser
• Automatisk klassificering af beskeder, tekster og andre dokumenter
• Træk automatisk logiske konklusioner
• Løs matematikopgaver
• USA.

Det er præcis det, der nu kan ske helt uden OpenAI, og lige så godt som med OpenAI.

OpenAI's undergang

At drive AI uden OpenAI har flere fordele:

• Ofte bedre resultater
• Forudsigelige og altid lave omkostninger
• Fuldstændig datasikkerhed
• Fuldstændig uafhængighed
• Kan optimeres efter ønske
• Strategisk værdifuld

OpenAI har en meget vanskelig fremtid foran sig. OpenAI kan ikke løse dette problem med bedre AI-modeller, fordi bedre og bedre AI-modeller hele tiden bliver offentliggjort som open source af DeepSeek & Co.

OpenAI er snart så forældet med hensyn til kvalitet, at det bliver nødt til at finde et andet forretningsområde. Der var allerede tegn på dette for flere måneder siden, men ingen ønskede at se det. Ved AI-matematikolympiaden var vinderen f.eks. en open source AI-model.

Kun integrationen af internetsøgning, browserautomatisering eller OpenAI Operator er stadig halvvejs bemærkelsesværdige livliner. Men enhver bedre AI-programmør kan også programmere sådanne systemer, da de er baseret på frit tilgængelige standardteknologier. Det betyder, at OpenAI i bedste fald vil forblive interessant for individuelle brugere, som er glade for at få en god funktion for et datagebyr. Det er tvivlsomt, om OpenAI vil være i stand til at dække sine enorme omkostninger til hardware, energi og personale.

Verden i slumretilstand

Übrigens: Der allerede findes en ny model af DeepSeek: Janus-Pro*. Janus-Pro er et dobbeltkæbeget model, så man kan blive ved med at kalde det "Janus" efter DeepSeeks valg. Janus-Pro er både en billedproducerer og en billedanalyser. Du kan få billeder produceret eller lad billeder i Janus indlades og stille spørgsmål til billederne.

Aktiemarkedet blev pulveriseret af DeepSeek-R1 og ikke af Janus-Pro.

Nyheden om R1 kom ud i verden med en stenalderforsinkelse (ca. 7 dage efter, at modellen blev offentliggjort). På tidspunktet for børskrakket eksisterede Janus-Pro allerede, men ingen var klar over det. Du er således mere informeret end de fleste.

Janus-Pro er ifølge benchmarkene bedre end DALL-E 3, men så lille, at det passer i en fingerhånd (eller kan køres på et notebook).

Das Geniale an R1

Det handler ikke primært om, at R1 har udgivet et supereffektivt model, der gør OpenAI konkurrence. Det handler om, at den blueprint er blevet offentliggjort. Alle AI-forskere i verden ved nu, hvordan bedre modeller end o1 kan fremstilles. Og det er ikke tilstrækkeligt: Disse modeller er mindre, bedre og billigere end OpenAIs modeller og de er desuden frie tilgængelige og replikerede i enhver tid.

Hvis OpenAI i fremtiden overhovedet nogensinde skal tjene penge, så vil det være med en Superintelligens. Sådan har vi dog andre udfordringer end at bestemme hvilken AI et firma kan bruge til at automatisere sine processer. For denne Superintelligenz ville komme inden for få år, ellers er OpenAI enten i bankets stue eller overhåndtaget.

Som nogen udtrykte det i en kommentar i et AI-forum:

Der er allerede sket flere fremskridt inden for AI i år (2025, slutningen af januar) end i hele 2024.

Det er måske en lille overdrivelse, men det er nok ikke så langt fra virkeligheden. For hver uge, der går, bliver dette udsagn mere præcist eller endda en underdrivelse.

Den, der ikke nu konkretere over dette tanker, at processe i virksomheden med kunstig intelligens at automatisere, er enten aldrig til det eller bruger computer kun til at skrive regninger (handløver o.sv.). Især for Software-udviklingsafdelinger er kunstig intelligens meget spændende!