DeepSeek-R1: Ein kleines Sprachmodell vaporisiert die Börse

Kategorien: Datenschutz und Künstliche Intelligenz

Mit dem KI-Modell DeepSeek-R1 gelang es China, die Amerikaner in den Boden zu schämen. DeepSeek-R1 ist deutlich effizienter als ChatGPT von OpenAI. Sogar superkleine Ableger von R1 sind in wichtigen Benchmarks nahezu genauso gut wie OpenAI o1. Die Börse reagierte mit Schockwellen. Dabei wurde gar nicht wahrgenommen, dass es schon eine weiteres DeepSeek-Modell gibt.

Einleitung

Jeder kennt ChatGPT. Spätestens seit „gestern“ kennt jeder DeepSeek. Vor allem Aktienanleger dürften mitbekommen haben, dass sich auf dem KI-Markt etwas getan hat.

OpenAI hält sein Top-Modell ChatGPT (samt o1, o3 usw.) in den neueren Versionen geheim und verheimlicht der Öffentlichkeit Details dazu. DeepSeek, ein Unternehmen aus China, verschenkt hingegen sein Top-Modell, indem es öffentlich gemacht wird. Schade für OpenAI, die mit ChatGPT Geld verdienen wollten, es damit aber wohl nie in den Gewinnbereich schaffen werden.

Die Kosten für die Erschaffung von DeepSeek-R1 waren ganz erheblich niedriger als die für ChatGPT in jeder neueren Version. Weiterhin kann R1 in Vollausprägung von jeder mittelständischen Firma selbst betrieben werden. Die kleineren Varianten laufen sogar auf Laptops. Selbst betreiben heißt hier: Sie laden das R1-Modell herunter, kopieren es auf Ihren KI-Server (oder Laptop), deaktivieren dann bei Bedarf die Internetverbindung und können so völlig autark mit Ihrer KI arbeiten.

Wie gut ist DeepSeek-R1?

Die Qualität eines KI-Modells wird durch Benchmarks geprüft. Das sind genormte Testfragen an das Modell. Wie gut ein KI-Modell für einen konkreten Anwendungsfall in Ihrem Unternehmen ist, kann nur durch (einfaches, schnelles) Ausprobieren für den jeweiligen Anwendungsfall herausgefunden werden. Sie müssen eben wissen, wofür Sie KI einsetzen wollen.

Die Benchmarks geben eine sehr gute Indikation, wie gut ein Modell an sich ist. Hier die von DeepSeek selbst veröffentlichten Benchmark-Ergebnisse:

Der jeweils linke Balken ist der von DeepSeek-R1, der jeweils zweite Balken der des Referenzmodells OpenAI o1. Wie zu erkennen ist, ist R1 gleich gut wie o1. Die genannten Benchmarks sind Standard. Es sind im Einzelnen:

• AIME 2024: Mathematikprobleme
• Codeforces: Programmieraufgaben
• GPQA Diamond: GPQA steht für A graduate-level Google-proof Q&A benchmark. Multiple-Choice Fragen
• MATH-500: Mathematische Schlussfolgerungen
• MMLU (Measuring Massive Multitask Language Understanding): Multiple-Choice Fragen aus vielen Wissensgebieten

Um die Frage am Anfang zu beantworten: DeepSeek-R1 ist also offenbar sehr gut. Das Modell weist einige absichtliche Wissensverschiebungen auf. Kritische politische Fragen beantwortet es so, wie es China gut findet. Das Modell soll allerdings nicht als Chatbot betrachtet werden. Insofern ist dieses Detail zwar verstörend, aber aus technischer Sicht oft egal.

Die Qualität von DeepSeek wurde von einigen Nutzern bestätigt. Hier ein aus dem Englischen ins Deutsche übersetzter Testbericht, der R1 und OpenAI o1 gegenüberstellt (folgendes als Zitat):

• Für das logische Schlussfolgern ist R1 viel besser als jedes frühere SOTA-Modell bis o1. Es ist besser als o1-preview, aber eine Stufe unter o1. Dies zeigt sich auch in dem ARC AGI Test.
• Mathematik: Für Mathematik gilt das Gleiche: R1 ist ein Killer, aber o1 ist besser.
• Codierung: Ich bin nicht dazu gekommen, viel zu spielen, aber auf den ersten Blick ist es gleichauf mit o1, und die Tatsache, dass es 20x weniger kostet, macht es zum praktischen Sieger.
• Schreiben: Hier übernimmt R1 die Führung. Es vermittelt die gleichen Eindrücke wie das frühe Opus. Es ist frei, weniger zensiert, hat viel mehr Persönlichkeit, ist leicht zu steuern und ist sehr kreativ im Vergleich zu den anderen Modellen, sogar im Vergleich zu o1-pro.

Der Verlauf der Zukunft

Wer die Entwicklung im KI-Bereich verfolgt, dem fallen mehrere Dinge auf:

• KI-Modelle werden immer besser.
• Bessere KI-Modelle werden immer kleiner (sie sind kaum noch „Large“, wie in „Large Language Modells“ angedeutet).
• Die Trainingsmethoden zum Erschaffen von KI-Modellen werden immer raffinierter.
• Kleinere bestehende KI-Modelle können durch Befragen von neuen Modellen leicht noch viel besser gemacht werden.
• Lichtgeschwindigkeit ist für die Bezeichnung der Geschwindigkeit der Entwicklungen eine Untertreibung.

All das stellt für OpenAI existentielle Bedrohungen dar.

Aber noch wichtiger ist folgende Erkenntnis: Mit Hilfe des sogenannten Reinforcement Learning (verstärkendes Lernen) können ganz andere kleine, schon vorhandene KI-Modelle, noch deutlich besser gemacht werden. Man nimmt dazu die Antworten, die das Mastermodell R1 auf gestellte Fragen gibt und füttert sie in die kleineren Schülermodelle rein. Die Intelligenz der Schülermodelle bekommt dann einen enormen Schub und kann selbst besser Denken und Schlussfolgerungen ziehen. DeepSeek hat eine raffinierte Methode (emergente Selbstreflektion) beschrieben, damit das besonders gut funktioniert.

So konnten Open-Source Modelle wie Qwen-2.5 und Llama-3.1, die an sich schon sehr gut waren, noch besser gemacht werden. Mit minimalem Aufwand. OpenAI muss hingegen sehr viel Zeit, Energie und Geld investieren, um bessere Ergebnisse zu erzielen. Während OpenAI ein Geheimniskrämer ist, finden die eben beschriebenen Fortschritte in der Öffentlichkeit und für jeden frei zugänglich statt.

Laut Testbericht ist DeepSeek-R1 ca. 30 Mal günstiger in der Nutzung als OpenAI o1 und ca. 5 Mal schneller als o1. Noch günstiger geht es, wenn Sie R1 intensiv nutzen wollen und auf einem eigenen Server betreiben. Nebenbei gibt es Ableger von R1, die sogar auf einem Laptop (oder zur Not auch auf einem Smartphone) betrieben werden können.

Ableger von DeepSeek-R1

Wie in der obigen Abbildung mit dem Benchmark zu erkennen ist, gibt es weitere Modelle von DeepSeek:

• DeepSeek-R1-32B
• DeepSeek-V3

DeepSeek-V3 wurde Ende Dezember 2024 veröffentlicht, ist also bereits veraltet (siehe „Lichtgeschwindigkeit“). Es diente al Basis für R1.

DeepSeek-R1-32B ist eine destillierte Version von DeepSeek-R1, welches 685 Milliarden Parameter hat (685B). Die destillierte Version hat nur 32 Milliarden Parameter, kann also auf einem erschwinglichen KI-Server betrieben werden. Destilliert heißt, dass es ein Extrakt aus dem größeren Modell ist. Nebenbemerkung: Verschiedene Quellen von DeepSeek geben einmal 685B und einmal 671B Parameter an.

Neben diesem einen Extrakt, DeepSeek-R1-32B, gibt es weitere Varianten, die allesamt auf billiger Hardware selbst betrieben werden können. Das nur zur Info für alle, die immer noch ChatGPT zur Automatisierung von Prozessen nutzen wollen.

Die Varianten von DeepSeek-R1 sind (Stand 28.01.2025):

• DeepSeek-R1-32B: Sekundärmodell aus dem Benchmark. Gemeint ist DeepSeek-R1-Distill-Qwen-32B
• DeepSeek-R1-Distill-Llama-8B
• DeepSeek-R1-Distill-Llama-70B
• DeepSeek-R1-Distill-Qwen-14B
• DeepSeek-R1-Distill-Qwen-7B
• DeepSeek-R1-Distill-Qwen-1.5B

Daneben gibt es noch DeepSeek-R1-Zero, was die gleiche Modellgröße hat wie das Hauptmodell. Zero hat weniger Trainingsprozesse durchlaufen als das Hauptmodell, ist also etwas schlechter (aber immer noch besser als alles, was OpenAI mit halbwegs vernünftigem Budget bisher hinbekommen hat).

Das Hauptmodell, DeepSeek-R1, hat zwar 685 Milliarden Parameter, aber nur 40 Milliarden davon sind gleichzeitig aktiv. Es handelt sich um eine sogenannte Mixture-of-Experts Architektur (MoE). Es ist wie beim Menschen: Von allen Ihren Neuronen im Gehirn sind nicht alle aktiv, wenn Sie nachdenken. Vielmehr ist nur ein kleiner Teil Ihrer Neuronen aktiv, wenn Sie beispielsweise sprechen. Der Rest Ihrer Neuronen im Gehirn ruht sich aus und muss nicht aktiv werden.

Diese kleinere Anzahl gleichzeitig aktiver Neuronen führt dazu, dass R1 auf günstigerer Hardware laufen kann. OpenAI muss sich hier schämen. Denn für die OpenAI-Modelle werden Serverinfrastrukturen benötigt, die jedes Vorstellungsvermögen sprengen. R1 hingegen kann von jedem KMU mit vernünftigen wirtschaftlichen Verhältnissen selbst betrieben werden.

Die Destillate aus R1 sind durch sogenannte Wissensdestillation entstanden. Dazu wird das Hauptmodell als Lehrer genommen und von einem Schüler befragt. Das ist analog dazu, wie ein Kind von seinen Eltern lernt, nur, dass das Kind bis zu einem gewissen Alter (oft) deutlich weniger Intelligenz als die Eltern ist.

Jedes Destillat wurde auf Basis eines schon vorhandenen LLMs erschaffen. Einmal wurde Llama-3.1-8B von oder Llama-3.3-70B-Instruct von Meta verwendet. Andere Destillate basieren auf verschiedenen Modellvarianten von Qwen-2.5 von Alibaba.

Chancen und Risiken

Offenbar werden mit immer größerer Geschwindigkeit immer bessere und zugleich kleine KI-Modelle veröffentlicht. OpenAI wird zum Auslaufmodell. ChatGPT, OpenAI o1 und wie die Modelle alle heißen, werden zwar auch immer besser, aber auch immer teurer.

OpenAI hält seine Modelle, Algorithmen und Daten geheim. DeepSeek tut genau das Gegenteil. Die Trainings-Pipeline ist öffentlich. Die Modelle sind öffentlich, sie können heruntergeladen werden. Auf einem KI-Notebook lassen wir ein DeepSeek-Modell laufen. Auf einem Notebook!

DeepSeek-Modelle sind extrem gut. Sie haben Börsenwerte zerstört. Übrigens auch im Energiebereich („Siemens Energy: 20-Prozent-Crash – KI-Fantasie weg?“, Meldung vom 27.01.2025), denn solche kleineren Modellen wie die von DeepSeek können auf „billiger“ Hardware betrieben werden, während OpenAI mit Energie herumsauen muss. Der Investor Marc Andreesen hat kommentiert: "DeepSeek is one of the most amazing and impressive breakthroughs I've ever seen – and as open-source, a profound gift to the world" (Quelle: vermeidungswürdiges Netzwerk mit Buchstabe vor Y).

Wofür kann DeepSeek gut eingesetzt werden?