gekennzeichnet.
Eine Schritt-für-Schritt-Anleitung für Einsteiger
Was wäre, wenn Ihre KI nur Ihre Dokumente kennt – und trotzdem blitzschnell die richtige Antwort findet? Keine Cloud, keine Abokosten, keine fremden Augen auf Ihren Daten. In dieser Anleitung bauen Sie genau das: eine lokale KI, die auf Ihrem eigenen Computer läuft und auf Ihre eigenen Inhalte antwortet. Schritt für Schritt, auch ohne Programmiererfahrung.
Worum geht es in diesem Artikel?
Viele kennen ChatGPT: Man stellt eine Frage, bekommt eine Antwort. Doch was, wenn die KI nicht nur allgemeines Wissen nutzen soll, sondern Ihre eigenen Unterlagen kennt – Ihre Rezepte, Ihr Handbuch, Ihre Notizen?
Genau das zeigt dieser Artikel. Sie erfahren, wie Sie eine KI kostenlos auf Ihrem eigenen Computer betreiben und mit Ihren eigenen Dokumenten „füttern“ – ohne dass Daten das Haus verlassen, ohne monatliche Abo-Kosten, ohne Internetverbindung.
Lokale KI mit
eigenen Daten
Offline, kostenlos, privat – Ihre KI kennt nur Ihre Dokumente.
🖥 Lokal (diese Anleitung)
- Kostenlos
- 100 % offline
- Für Einsteiger & Privat
☁️ Cloud (Mittwald AI)
- DSGVO, made in Germany
- Kein US Cloud Act
- Für Teams & Firmen
Als konkretes Beispiel bauen wir Schritt für Schritt ein kleines Programm, das Fragen zu einer Rezeptsammlung beantwortet. Das Prinzip lässt sich danach auf beliebige eigene Inhalte übertragen.
Hinweis: Diese Anleitung richtet sich an Einsteiger ohne Programmierkenntnisse. Technisches Vorwissen ist nicht erforderlich – Geduld und Neugier genügen.
Lokale KI, Cloud-KI oder beides?
Bevor es losgeht, ein kurzer Überblick über die Alternativen:
In einem anderen Artikel haben wir die Mittwald AI vorgestellt. Dabei handelt es sich um eine Cloud-KI eines deutschen Anbieters – gehostet in Deutschland, betrieben nach deutschen und europäischen Datenschutzregeln, ohne Einfluss von US-amerikanischen Gesetzen wie dem Cloud Act. Eine gute Option, wenn Sie eine fertige, professionell betriebene Lösung suchen.
Die lokale KI mit GPT4All, die dieser Artikel beschreibt, ist etwas anderes: Sie läuft vollständig auf Ihrem eigenen Computer, ist kostenlos und zeigt, wie das Prinzip funktioniert. In der hier vorgestellten Form ist sie nicht für den professionellen Einsatz gedacht – sie soll die Tür für den Einstieg öffnen, nicht mehr und nicht weniger.
Für ausgereifte KI-Anwendungen in Ihrem Unternehmen – egal ob lokal oder in der Cloud – kontaktieren Sie uns gerne für eine kostenfreie Erstberatung.
Was passiert hier eigentlich?
Stellen Sie sich vor, Sie haben einen sehr schlauen Assistenten (das KI-Modell), der alles Mögliche weiß – aber nichts über Sie, Ihre Firma oder Ihr spezielles Thema. Es gibt zwei Wege, das zu ändern:
| Methode | Analogie | Aufwand | Empfehlung |
|---|---|---|---|
| Fine-Tuning | Dem Assistenten ein neues Studium finanzieren | Sehr hoch, teuer | Nur für Profis |
| RAG (Retrieval Augmented Generation) | Dem Assistenten einen Spickzettel geben | Gering | Für Fortgeschrittene |
Diese Anleitung nutzt RAG – die KI erhält beim Beantworten einer Frage automatisch die richtigen Informationen aus Ihren eigenen Dokumenten. Kein Training erforderlich!
Welche Hardware brauche ich für KI?
Das ist der wichtigste Punkt vor dem Start. KI-Modelle sind rechenintensiv – die richtige Hardware entscheidet darüber, ob Antworten in Sekunden oder in Minuten kommen.
Übersicht: Hardware-Szenarien
| Szenario | Hardware | Geeignete Modellgröße | Geschwindigkeit |
|---|---|---|---|
| Nur CPU (normaler PC/Laptop) | 8–16 GB RAM | 1B–3B Parameter | Langsam (30–60 Sek./Antwort) |
| CPU mit viel RAM | 32+ GB RAM | bis 7B Parameter | Akzeptabel |
| NVIDIA-GPU | 6 GB VRAM | 3B–7B Parameter | Schnell |
| NVIDIA-GPU | 12+ GB VRAM | 7B–13B Parameter | Sehr schnell |
| Apple Silicon (M1/M2/M3/M4) | Unified Memory | bis 13B Parameter | Sehr schnell |
Wichtiger Hinweis: Ein 7B-Modell (wie Mistral 7B) läuft auf einem normalen Laptop ohne dedizierte Grafikkarte oder Apple Silicon zwar technisch, aber sehr langsam – eine Antwort kann mehrere Minuten dauern. Für erste Tests empfehlen wir kleinere Modelle (1B–3B).
Empfohlene Modelle je nach Hardware
Nur CPU / wenig RAM (8 GB):
- Phi-3 Mini (3.8B) – kompakt und überraschend fähig
- Gemma 2 2B – gut für Textverständnis
CPU mit 16–32 GB RAM:
- Mistral 7B Instruct – solide Allzwecklösung
- LLaMA 3.2 3B – schneller, gute Qualität
NVIDIA-GPU (6–12 GB VRAM) oder Apple Silicon:
- Mistral 7B / LLaMA 3.1 8B – empfohlen
- LLaMA 3.1 13B (bei 12+ GB VRAM / 16+ GB Unified Memory)
Apple Silicon (M-Chips): Diese Macs nutzen sogenannten „Unified Memory“, d.h. CPU und GPU teilen sich denselben Speicher. Das macht sie besonders effizient für lokale KI-Modelle – ein M2 MacBook Air mit 16 GB läuft problemlos mit 7B-Modellen.
NVIDIA-GPU: Für Windows- und Linux-PCs mit einer modernen NVIDIA-Karte (RTX-Serie) wird automatisch CUDA genutzt, was die Verarbeitung drastisch beschleunigt. AMD-GPUs werden zunehmend unterstützt, aber NVIDIA bleibt die erste Wahl.
Betriebssystem: Windows oder Linux?
Diese Anleitung funktioniert auf beiden Systemen. Es lohnt sich aber, folgenden Hinweis zu kennen:
Viele Artikel in PDF-Form · Kompakte Kernaussagen für Beiträge · Offline-KI · Freikontingent+ für Website-Checks
KI-Beratung, KI-Lösungen
Leistungsangebot:
- Erstberatung inkl. Machbarkeitsaussagen
- Schulungen und Workshops für Führungskräfte, Berufsgeheimnisträger, Angestellte, Entwickler
- KI-Lösungen mit und ohne ChatGPT/Azure. Cloud oder eigener KI-Server
Mein Name ist Klaus Meffert. Ich bin promovierter Informatiker und beschäftige mich seit über 30 Jahren professionell und praxisbezogen mit Informationstechnologie. In IT & Datenschutz bin ich auch als Sachverständiger tätig. Ich stehe für pragmatische Lösungen mit Mehrwert. Meine Firma, die 
Hallo Klaus,
Danke für diese Anleitung. Du wählt GPT4ALL als Anwendung. GPT4All selbst bietet die Möglichkeit eigene Dokumente einzubinden. Was unterscheidet Deine Lösung von der GPT4All option?
Beste Grüße, Mike
GPT4ALL und andere Plattformen sind generisch aufgestellt. Sie liefern gute Ergebnisse (für eine überschaubare Anzahl an Dokumenten, die saubere Formate haben). Sie berücksichtigen allerdings keinerlei Besonderheiten (etwa Konventionen, Vokabulare, bestimmte Schnittstellen, Datenbankanbindung zum sauberen Auslesen von Inhalten etc.) .
Sobald es mehr Dokumente werden oder man "sehr gut" statt "gut" haben will, scheitern diese Lösungen.
Auch bei der Automatisierung von Prozessen sieht es eher mau aus. Klar gibt es Automatisierungs-Tools, aber mit denen will sich nicht jeder herumschlagen (nach Installation) und die Möglichkeiten sind auch dort begrenzt.
Dann kommen noch Transparenz und Art der Ergebnisdarstellung sowie weitere "Kleinigkeiten" dazu.
Für Privatanwender oder den semiprofessionellen Bereich sind solche Plattformen sicher gut. Für professionelles Arbeiten sollte man etwas Geld in die Hand nehmen.
Danke für die Klarheit!
Hallo Klaus,
kann es sein, dass beim Schritt 3 das Einrichten einer Virtuellen Umgebung fehlt?
kr
Die virtuelle Umgebung ist für/ab Ubuntu 22 erforderlich, soweit ich aus Erfahrung weiß. Für Windows und frühere Ubuntu-Versionen ist sie nicht erforderlich.
Falls erforderlich, hier Anleitung:
1) Ins Zielverzeichnis gehen, wo die Installation stattfinden soll
2) Virtuelle Umgebung erstellen: python3 -m venv venv
3) Virtuelle Umgebung aktivieren: source venv/bin/activate
Schritt 3 ist bei jedem Reconnect mit dem Rechner (falls Server; oder bei Neustart) auszuführen.
Danke. Ich arbeite in Debian 13, auch hier verlangt python3 nach der Virtuellen Umgebung.
Hallo, danke für dieses Tutorial. Könnte ich auch alle meine Dokumente als Datenbasis hinterlegen? Diese liegen allerdings in einer "bösen" Cloud…
Danke
Ja, die eigenen Dokumente können als Datenbasis genutzt werden. Dazu muss eine der beiden Wege vorhanden/gewählt sein:
1) Dokumente lokal hochladen in Ihr (neues) lokales KI-System
2) Ihr KI-System hat eine Schnittstelle zu Ihrer Cloud
1) geht, indem Sie Ihre Dokumente manuell in Ihre (neue) KI reinladen. Hinweis: Wenn es sehr viele Dokumente sind (mehr als wenige hundert), oder es sehr große Dokumente sind (Beispiel: PDF mit 200 Seiten), dann wird eine kostenfreie lokale KI für Sie nicht das Richtige sein.
2) ist bei kostenlosen KI-Systemen typischerweise nicht vorhanden bzw. nur in wenigen Ausnahmefällen für gängige Clouds. Um zu prüfen, ob die Schnittstelle wider Erwarten doch vorhanden ist, müssten Sie sich für eine KI-Plattform entscheiden und dann dazu für Ihre Cloud recherchieren. Oder Sie schreiben hier kurz, welche KI Sie nutzen wollen und was Ihre Cloud ist – dann sehen wir für Sie nach.