Lokale KI mit eigenen Daten erweitern

Kategorien: Datenschutz und Künstliche Intelligenz

Eine Schritt-für-Schritt-Anleitung für Einsteiger

Was wäre, wenn Ihre KI nur Ihre Dokumente kennt – und trotzdem blitzschnell die richtige Antwort findet? Keine Cloud, keine Abokosten, keine fremden Augen auf Ihren Daten. In dieser Anleitung bauen Sie genau das: eine lokale KI, die auf Ihrem eigenen Computer läuft und auf Ihre eigenen Inhalte antwortet. Schritt für Schritt, auch ohne Programmiererfahrung.

Worum geht es in diesem Artikel?

Viele kennen ChatGPT: Man stellt eine Frage, bekommt eine Antwort. Doch was, wenn die KI nicht nur allgemeines Wissen nutzen soll, sondern Ihre eigenen Unterlagen kennt – Ihre Rezepte, Ihr Handbuch, Ihre Notizen?

Genau das zeigt dieser Artikel. Sie erfahren, wie Sie eine KI kostenlos auf Ihrem eigenen Computer betreiben und mit Ihren eigenen Dokumenten „füttern“ – ohne dass Daten das Haus verlassen, ohne monatliche Abo-Kosten, ohne Internetverbindung.

Als konkretes Beispiel bauen wir Schritt für Schritt ein kleines Programm, das Fragen zu einer Rezeptsammlung beantwortet. Das Prinzip lässt sich danach auf beliebige eigene Inhalte übertragen.

Hinweis: Diese Anleitung richtet sich an Einsteiger ohne Programmierkenntnisse. Technisches Vorwissen ist nicht erforderlich – Geduld und Neugier genügen.

Lokale KI, Cloud-KI oder beides?

Bevor es losgeht, ein kurzer Überblick über die Alternativen:

In einem anderen Artikel haben wir die Mittwald AI vorgestellt. Dabei handelt es sich um eine Cloud-KI eines deutschen Anbieters – gehostet in Deutschland, betrieben nach deutschen und europäischen Datenschutzregeln, ohne Einfluss von US-amerikanischen Gesetzen wie dem Cloud Act. Eine gute Option, wenn Sie eine fertige, professionell betriebene Lösung suchen.

Die lokale KI mit GPT4All, die dieser Artikel beschreibt, ist etwas anderes: Sie läuft vollständig auf Ihrem eigenen Computer, ist kostenlos und zeigt, wie das Prinzip funktioniert. In der hier vorgestellten Form ist sie nicht für den professionellen Einsatz gedacht – sie soll die Tür für den Einstieg öffnen, nicht mehr und nicht weniger.

Für ausgereifte KI-Anwendungen in Ihrem Unternehmen – egal ob lokal oder in der Cloud – kontaktieren Sie uns gerne für eine kostenfreie Erstberatung.

Was passiert hier eigentlich?

Stellen Sie sich vor, Sie haben einen sehr schlauen Assistenten (das KI-Modell), der alles Mögliche weiß – aber nichts über Sie, Ihre Firma oder Ihr spezielles Thema. Es gibt zwei Wege, das zu ändern:

Diese Anleitung nutzt RAG – die KI erhält beim Beantworten einer Frage automatisch die richtigen Informationen aus Ihren eigenen Dokumenten. Kein Training erforderlich!

Welche Hardware brauche ich für KI?

Das ist der wichtigste Punkt vor dem Start. KI-Modelle sind rechenintensiv – die richtige Hardware entscheidet darüber, ob Antworten in Sekunden oder in Minuten kommen.

Übersicht: Hardware-Szenarien

Wichtiger Hinweis: Ein 7B-Modell (wie Mistral 7B) läuft auf einem normalen Laptop ohne dedizierte Grafikkarte oder Apple Silicon zwar technisch, aber sehr langsam – eine Antwort kann mehrere Minuten dauern. Für erste Tests empfehlen wir kleinere Modelle (1B–3B).

Empfohlene Modelle je nach Hardware

Nur CPU / wenig RAM (8 GB):

• Phi-3 Mini (3.8B) – kompakt und überraschend fähig
• Gemma 2 2B – gut für Textverständnis

CPU mit 16–32 GB RAM:

• Mistral 7B Instruct – solide Allzwecklösung
• LLaMA 3.2 3B – schneller, gute Qualität

NVIDIA-GPU (6–12 GB VRAM) oder Apple Silicon:

• Mistral 7B / LLaMA 3.1 8B – empfohlen
• LLaMA 3.1 13B (bei 12+ GB VRAM / 16+ GB Unified Memory)

Apple Silicon (M-Chips): Diese Macs nutzen sogenannten „Unified Memory“, d.h. CPU und GPU teilen sich denselben Speicher. Das macht sie besonders effizient für lokale KI-Modelle – ein M2 MacBook Air mit 16 GB läuft problemlos mit 7B-Modellen.

NVIDIA-GPU: Für Windows- und Linux-PCs mit einer modernen NVIDIA-Karte (RTX-Serie) wird automatisch CUDA genutzt, was die Verarbeitung drastisch beschleunigt. AMD-GPUs werden zunehmend unterstützt, aber NVIDIA bleibt die erste Wahl.

Betriebssystem: Windows oder Linux?

Diese Anleitung funktioniert auf beiden Systemen. Es lohnt sich aber, folgenden Hinweis zu kennen:

Linux bietet für lokale KI klare Vorteile: Treiber, Python-Umgebungen und KI-Bibliotheken sind unter Linux technisch besser integriert. Installation und Performance sind oft einfacher und stabiler – besonders bei NVIDIA-GPUs. Wer die Wahl hat, ist mit Ubuntu 22.04 oder 24.04 gut beraten.

Die Anleitung zeigt beide Wege – Windows und Linux.

Was Sie brauchen

• Einen PC oder Laptop (siehe Hardware-Tabelle oben)
• GPT4All – kostenlos, läuft komplett offline
• Python 3.10 oder neuer
• Ihre eigenen Texte/Dokumente (z.B. als .txt)

Schritt 1 – Python installieren

Python ist eine weit verbreitete Programmiersprache, die sich besonders gut für KI-Anwendungen eignet. In dieser Anleitung schreiben wir ein kleines Python-Programm – eine Textdatei mit Anweisungen, die der Computer Zeile für Zeile ausführt. Dafür muss Python zunächst auf Ihrem Computer installiert sein.

Windows

1. Gehen Sie auf python.org/downloads und laden Sie die neueste Version herunter (z.B. Python 3.12)
2. Führen Sie den Installer aus
3. Wichtig: Setzen Sie beim ersten Installationsschritt den Haken bei „Add Python to PATH“ – sonst findet Windows Python nicht
4. Klicken Sie auf „Install Now“

Zum Testen: Öffnen Sie die Eingabeaufforderung (Win + R, dann cmd) und tippen Sie:

python --version

Es sollte etwas wie Python 3.12.x erscheinen.

Linux (Ubuntu/Debian)

Python ist auf den meisten Linux-Systemen bereits vorinstalliert. Zur Sicherheit:

sudo apt update
sudo apt install python3 python3-pip

Zum Testen:

python3 --version

Schritt 2 – GPT4All installieren & Modell laden

1. Gehen Sie auf gpt4all.io und laden Sie das Programm für Ihr Betriebssystem herunter
2. Installieren Sie es wie ein normales Programm
3. Beim ersten Start: Wählen Sie ein Modell passend zu Ihrer Hardware (siehe Tabelle oben)
4. Warten Sie, bis der Download fertig ist (4–8 GB je nach Modell)

✅ Kurztest: Stellen Sie eine einfache Frage im Chat-Fenster. Wenn die KI antwortet, läuft alles korrekt.

Schritt 3 – Python-Pakete installieren

Windows (Eingabeaufforderung):

pip install gpt4all chromadb

Linux (Terminal):

pip3 install gpt4all chromadb

Das installiert:

• gpt4all – damit Python mit Ihrer lokalen KI kommunizieren kann
• chromadb – eine Mini-Datenbank, die Texte „versteht“ und durchsuchbar macht

Schritt 4 – Dokumente vorbereiten

Erstellen Sie einen Arbeitsordner:

• Windows: z. B. C:\meine-ki\dokumente\
• Linux: z. B. ~/meine-ki/dokumente/

Legen Sie dort eine Testdatei rezepte.txt ab:

Omas Apfelkuchen:
Zutaten: 3 Äpfel, 200g Mehl, 150g Zucker, 2 Eier, 100g Butter, 1 TL Backpulver
Zubereitung: Äpfel schälen und würfeln. Butter mit Zucker schaumig rühren.
Eier unterrühren. Mehl und Backpulver dazugeben. Äpfel unterheben.
Bei 180 Grad 45 Minuten backen.

Tante Marias Gulasch:
Zutaten: 500g Rindfleisch, 3 Zwiebeln, 2 EL Paprikapulver, Salz, Pfeffer, Öl
Zubereitung: Zwiebeln anbraten, Fleisch würfeln und anbraten.
Paprikapulver, Salz und Pfeffer dazu. Mit Wasser bedecken.
2 Stunden köcheln lassen.

Schritt 5 – Das Skript erstellen

Erstellen Sie eine Datei meine_ki.py direkt im Ordner meine-ki (eine Ebene über dokumente):

import os
import chromadb
from gpt4all import GPT4All

# ── Einstellungen 
# Modellname genau so eingeben, wie er in GPT4All angezeigt wird, z.B.:
# "Phi-3 Mini Instruct"  → für schwache Hardware (CPU only)
# "Mistral 7B Instruct v0.1" → für GPU oder Apple Silicon
MODELL_NAME  = "Phi-3 Mini Instruct"
DOCS_ORDNER  = "dokumente"   # Ordner mit Ihren Texten
DB_ORDNER    = "datenbank"   # Hier speichert ChromaDB die Vektoren

def texte_einlesen(ordner):
    """Liest alle .txt-Dateien aus dem Ordner."""
    texte = []
    for dateiname in os.listdir(ordner):
        if dateiname.endswith(".txt"):
            pfad = os.path.join(ordner, dateiname)
            with open(pfad, "r", encoding="utf-8") as f:
                inhalt = f.read()
                abschnitte = [inhalt[i:i+500] for i in range(0, len(inhalt), 500)]
                for nr, abschnitt in enumerate(abschnitte):
                    texte.append({"id": f"{dateiname}_{nr}", "text": abschnitt})
    return texte

def datenbank_aufbauen(texte):
    """Speichert die Texte in ChromaDB."""
    client = chromadb.PersistentClient(path=DB_ORDNER)
    try:
        sammlung = client.get_collection("meine_dokumente")
        print("Vorhandene Datenbank geladen.")
    except Exception:
        sammlung = client.create_collection("meine_dokumente")
        sammlung.add(
            documents=[t["text"] for t in texte],
            ids=[t["id"] for t in texte]
        )
        print(f"{len(texte)} Textabschnitte gespeichert.")
    return sammlung

def passende_texte_finden(sammlung, frage, anzahl=3):
    """Findet die relevantesten Textabschnitte für die Frage."""
    ergebnis = sammlung.query(query_texts=[frage], n_results=anzahl)
    return ergebnis["documents"][0]

def frage_stellen(modell, kontext, frage):
    """Schickt Frage + Kontext an die lokale KI."""
    prompt = f"""Du bist ein hilfreicher Assistent.
Nutze ausschließlich die folgenden Informationen, um die Frage zu beantworten.
Wenn die Antwort nicht in den Informationen enthalten ist, sage das ehrlich.

Informationen:
{kontext}

Frage: {frage}
Antwort:"""
    return modell.generate(prompt, max_tokens=500)

# ── Hauptprogramm 
print("KI wird gestartet … (kann einen Moment dauern)")
modell = GPT4All(MODELL_NAME)

print("Dokumente werden eingelesen …")
texte = texte_einlesen(DOCS_ORDNER)
sammlung = datenbank_aufbauen(texte)

print("\nBereit! Stellen Sie Ihre Fragen (oder 'ende' zum Beenden):\n")

while True:
    frage = input("Sie: ").strip()
    if frage.lower() in ["ende", "exit", "quit"]:
        print("Auf Wiedersehen!")
        break
    if not frage:
        continue
    gefundene_texte = passende_texte_finden(sammlung, frage)
    kontext = "\n---\n".join(gefundene_texte)
    print("KI denkt nach …")
    antwort = frage_stellen(modell, kontext, frage)
    print(f"\nKI: {antwort}\n")

Schritt 6 – Starten

Windows:

cd C:\meine-ki
python meine_ki.py

Linux:

cd ~/meine-ki
python3 meine_ki.py

Beim ersten Start wird die Datenbank aufgebaut. Danach können Sie Fragen stellen:

Sie: Wie mache ich Omas Apfelkuchen?
KI:  Für Omas Apfelkuchen benötigen Sie 3 Äpfel, 200g Mehl …

Sie: Wie lange muss das Gulasch kochen?
KI:  Das Gulasch von Tante Maria köchelt 2 Stunden …

Sie: Was ist die Hauptstadt von Frankreich?
KI:  Diese Information ist in meinen Unterlagen nicht vorhanden.

Die KI antwortet ausschließlich auf Basis Ihrer Dokumente – und erfindet nichts hinzu.

Eigene Dokumente hinzufügen

Legen Sie neue .txt-Dateien in den dokumente-Ordner. Löschen Sie anschließend den datenbank-Ordner und starten Sie das Skript neu – die Datenbank wird automatisch neu aufgebaut.

Weitere Formate mit kleinen Erweiterungen:

• .pdf – mit pip install pypdf2
• .docx – mit pip install python-docx

Alternativen zu GPT4All

Tipp: Ollama ist besonders unter Linux sehr beliebt und lässt sich mit einem einzigen Befehl installieren. Eine gute Alternative, sobald Sie die Grundlagen beherrschen.

Was haben Sie gerade gebaut?

Ihre Frage
    ↓
ChromaDB durchsucht Ihre Dokumente
    ↓
Findet die 3 passendsten Textstellen
    ↓
Gibt diese + Ihre Frage an die lokale KI
    ↓
KI antwortet – ausschließlich auf Basis IHRER Daten
    ↓
Alles bleibt auf Ihrem PC. Kein Internet erforderlich.

Diese Methode nennt sich RAG (Retrieval Augmented Generation) – sie ist dieselbe Technik, die professionelle KI-Produkte wie Microsoft Copilot oder ChatGPT-Plugins im Hintergrund verwenden. Sie haben sie gerade selbst gebaut.

Fazit: Für wen ist das geeignet?

Lokale KI mit GPT4All und einer einfachen Dokumentendatenbank ist ein beeindruckendes Werkzeug – und gleichzeitig ein ehrliches: Es zeigt, was möglich ist, ohne zu versprechen, was es nicht kann.

Geeignet für:

• Private Nutzung – eigene Notizen, Rezepte, Wissensdatenbanken
• Einzelpersonen und Selbstständige, die experimentieren möchten
• Kleine Teams, die ein Thema verstehen wollen, bevor sie investieren

Weniger geeignet für:

• Mehrere Nutzer gleichzeitig
• Große oder häufig wechselnde Dokumentenmengen
• Zuverlässigen Dauerbetrieb im Unternehmensalltag

Ab etwa 20 Mitarbeitern – oder sobald KI ein fester Bestandteil von Arbeitsabläufen werden soll – lohnt sich eine professionelle Lösung. Diese bringt stabileren Betrieb, Benutzerverwaltung, Datensicherheit und Support mit. Ob lokal im eigenen Netzwerk oder als datenschutzkonforme Cloud-Lösung wie die Mittwald AI: Die Unterschiede in Zuverlässigkeit und Wartbarkeit sind erheblich.

Wenn Sie wissen möchten, welche Lösung zu Ihrem Unternehmen passt – sprechen Sie uns an. Kostenfreie Erstberatung, kompetent, produktneutral und unverbindlich.